Scrapy "too many open files" 錯誤，由太多套接字引起

Question

我遇到了一個error 24: too many open files.的問題error 24: too many open files. 搜索后，我已將 ulimit 更改為 102400 ...

但是，我的蜘蛛在運行 1 周后仍然出現此錯誤。

一開始我以為是我的pipeline引起的（我改了這個），於是我查看了/proc/{pid}/fd ，發現打開了這么多socket。

順便說一句，你可以在這里找到代碼： https : //github.com/yz21606948/sinaSpider/tree/master/sina

Answer 1

我通過使用增加限制來解決它

ulimit -n unlimited