如何使用代理下载文件

Question

我正在下载包含大量GPL许可的免费内容的网站，但是我的计算机超出了每天20个文件的下载限制（约10,000个！）

是否可以使用（通过PHP）继续访问此类内容的代理服务？

Answer 1

是的，这是可能的。 参见PHP的cURL：-http: //php.net/manual/zh/book.curl.php

具体来说： http ://www.php.net/manual/zh/function.curl-setopt.php：CURLOPT_HTTPPROXYTUNNEL

您可能要检查您所做的事情是否合法。 另外，我想您将使用代理服务器遇到相同的下载限制。

Answer 2

您不应该试图绕过该限制。 在那里，您可以通过尝试下载所有内容来阻止像您这样的人过载他们的连接。

如果您确实需要下载整个站点，并且内容确实是免费的，则可以将其镜像到另一个站点，从中可以更轻松地获取它。

编辑：或者您可以给站点管理员发送电子邮件，并很好地询问。 也许他可以用一种方便的格式给您，或者为您禁用限制。

Answer 3

从技术上讲，代理不应该每天只为您增加20个文件吗？ 希望您有很多代理。

另一个选择是使用Tor ，它可能会在数百个端点之间传播您的请求。

就个人而言，我会先联系网站所有者。 如果文件确实是GPL，而且主机遵循GPL的精神，而不仅仅是试图最大化广告收入，那么它们应该不会给您带来太多麻烦。