從url批量下載文件

Question

我需要將每個0-2.5 MB的文件從Url批量下載到我的服務器（Linux CentOS /也可以是其他任何文件）。

我想使用wget（如果您還有其他解決方案，請發布）：

我的第一種方法是僅使用一個文件進行測試：

wget -U --load-cookies=cookies.txt "url"

這是殼牌的回應：

問題在於它不會下載文件，而只會下載空的html。 必要的cookie將以正確的格式保存在文件中，並且下載可在瀏覽器中進行。

如果可以下載1個文件，我想在所有url（例如urls.txt）中使用txt，其中url類似於上面的內容，但是僅更改一個參數。 然后我還希望它一次下載10-100個文件。 如果您有PHP或Python的解決方案，它也對我有幫助。

謝謝您的幫助！

Answer 1

我現在用aria2解決了。 它是處理此類問題的絕佳工具。

Answer 2

基本上：

for i in foo bar 42 baz; do
    wget -other -options -here "http://blah/blah?param=$i" -O $i.txt
done

注意-O參數，該參數可讓您設置輸出文件名。 foo.txt" is a little easier to use than data-output？format = blahblahblah` foo.txt" is a little easier to use than 。