使用Python请求库的上限下载大小

Question

我正在使用Python的请求库对一堆网页进行爬网，但有时，爬网程序会偶然发现一个绝对庞大的页面，无论是PDF或视频还是其他庞大的文件。 有没有一种很好的方法来限制它将下载的文件的最大大小？

Answer 1

urlopen对象具有一个info（）方法，该方法提供了各种有用的标头信息，包括Content-Length

有时，此设置不正确，但在大多数情况下应该正确设置，这将有所帮助