限制下載的頁面大小

Question

有沒有辦法限制python的urllib2模塊下載的數據量？ 有時候我遇到了破壞的網站，其中包含/ dev / random作為一個頁面，結果發現它們耗盡了服務器上的所有內存。

Answer 1

urllib2.urlopen返回一個類似文件的對象，你可以（至少在理論上.read(N)從這樣的對象中.read(N)來限制最多返回N個字節的數據量。

這種做法並不完全是萬無一失的，因為一個積極敵對的網站可能會花費相當多的時間來欺騙一個相當可信的收件人，比如urllib2的默認開啟者; 在這種情況下，您需要實現並安裝自己的開啟工具，知道如何防范此類攻擊（例如，從開放套接字一次獲得不超過MB的數據等）。