Python urllib2错误

Question

我有一长串需要为我的服务打开的URL。 每当我尝试打开整个列表时，我会在启动程序时收到许多错误： [Errno 24] Too many open files 。 我正在使用urllib2和gevent。

有没有人有任何解决方案？

谢谢。

Answer 1

使用Gevent.pool一次只打开一定数量的url然后在打开url时重用这些greenlet。

Answer 2

由于我们仍然不知道你到底做了什么，我只能猜测：你一次打开许多网址，然后才尝试阅读它们。 相反，你应该/可以打开 - 读取 - 关闭它们然后前进到下一个。

或者，您可以创建一个支持并发的URL加载器：打开一些 URL并尝试同时读取它们。 关闭之后，您可以开始打开下一个。 如果您一次将其限制为5或10，则不应再出现问题。