Python urllib2錯誤

Question

我有一長串需要為我的服務打開的URL。 每當我嘗試打開整個列表時，我會在啟動程序時收到許多錯誤： [Errno 24] Too many open files 。 我正在使用urllib2和gevent。

有沒有人有任何解決方案？

謝謝。

Answer 1

使用Gevent.pool一次只打開一定數量的url然后在打開url時重用這些greenlet。

Answer 2

由於我們仍然不知道你到底做了什么，我只能猜測：你一次打開許多網址，然后才嘗試閱讀它們。 相反，你應該/可以打開 - 讀取 - 關閉它們然后前進到下一個。

或者，您可以創建一個支持並發的URL加載器：打開一些 URL並嘗試同時讀取它們。 關閉之后，您可以開始打開下一個。 如果您一次將其限制為5或10，則不應再出現問題。