Scrapy "too many open files" 错误，由太多套接字引起

Question

我遇到了一个error 24: too many open files.的问题error 24: too many open files. 搜索后，我已将 ulimit 更改为 102400 ...

但是，我的蜘蛛在运行 1 周后仍然出现此错误。

一开始我以为是我的pipeline引起的（我改了这个），于是我查看了/proc/{pid}/fd ，发现打开了这么多socket。

顺便说一句，你可以在这里找到代码： https : //github.com/yz21606948/sinaSpider/tree/master/sina

Answer 1

我通过使用增加限制来解决它

ulimit -n unlimited