如何用linux命令行下载批量数据？

Question

例如，我想从以下网址下载数据： http ： //nimbus.cos.uidaho.edu/DATA/OBS/

与链接：

http://nimbus.cos.uidaho.edu/DATA/OBS/pr_1979.nc

至

http://nimbus.cos.uidaho.edu/DATA/OBS/pr_2015.nc

如何编写脚本来下载所有这些脚本？ 与wget ？以及如何循环从1979年到2015年的链接？

Answer 1

wget可以将文件作为包含每行URL的输入。

wget -ci url_file

-i ：输入文件
-c ：恢复功能

因此，您需要做的就是将URL放在一个文件中，并将该文件与wget一起使用。

像Jeff Puckett II这样的简单循环对于你的特定情况就足够了，但是如果你碰巧处理更复杂的情况（随机网址），这种方法可能会派上用场。

Answer 2

可能类似于循环迭代预定义系列的东西。

未经测试的代码：

for i in {1979..2015}; do
  wget http://nimbus.cos.uidaho.edu/DATA/OBS/pr_$i.nc
done