如何使用代理下載文件

Question

我正在下載包含大量GPL許可的免費內容的網站，但是我的計算機超出了每天20個文件的下載限制（約10,000個！）

是否可以使用（通過PHP）繼續訪問此類內容的代理服務？

Answer 1

是的，這是可能的。 參見PHP的cURL：-http: //php.net/manual/zh/book.curl.php

具體來說： http ://www.php.net/manual/zh/function.curl-setopt.php：CURLOPT_HTTPPROXYTUNNEL

您可能要檢查您所做的事情是否合法。 另外，我想您將使用代理服務器遇到相同的下載限制。

Answer 2

您不應該試圖繞過該限制。 在那里，您可以通過嘗試下載所有內容來阻止像您這樣的人過載他們的連接。

如果您確實需要下載整個站點，並且內容確實是免費的，則可以將其鏡像到另一個站點，從中可以更輕松地獲取它。

編輯：或者您可以給站點管理員發送電子郵件，並很好地詢問。 也許他可以用一種方便的格式給您，或者為您禁用限制。

Answer 3

從技術上講，代理不應該每天只為您增加20個文件嗎？ 希望您有很多代理。

另一個選擇是使用Tor ，它可能會在數百個端點之間傳播您的請求。

就個人而言，我會先聯系網站所有者。 如果文件確實是GPL，而且主機遵循GPL的精神，而不僅僅是試圖最大化廣告收入，那么它們應該不會給您帶來太多麻煩。