Python Scrapy分段錯誤

Question

我有一個使用nltk的django項目。 嘗試進行細分時出現細分錯誤

import nltk

我找到了它發生的確切位置，它是collocations.py:38。 我還發現，僅在django單元測試和django manage.py shell（實際上是shell_plus，但我不認為會更改某些東西）中才出現此錯誤，但在自定義管理命令中卻沒有（這可能意味着我贏了）在生產中不會出現此錯誤）

我使用django django 1.4.5，nltk 2.0.4，python 2.7.3。

謝謝！

更新： python更新到2.7.4尚未生效

更新： numpy更新到1.7.1和scipy更新到0.12.0尚未實現

更新：我找到了導致段錯誤的語句（我想，就像我將其從模塊范圍移到函數范圍一樣，這導致段錯誤不會發生）

from scrapy.crawler import CrawlerProcess

這是爬網scrapy框架中的類，我在自定義模塊中使用了該類，以將scrapy spider作為python腳本執行。 segfault似乎不是NLTK的錯誤，而是令人毛骨悚然的。 此類可能以某種方式重寫了nltk的某些數據，這就是它被分段的原因。

Answer 1

我在CrawlerProcess中遇到了同樣的問題。 Scrapy無法安裝libxml2。 嘗試在命令提示符下輸入以下內容：

easy_install lxml
pip install scrapy --upgrade

之后，我的程序正確執行了。