为什么即使已经安装了 Scrapy 模块，python 也会抛出“ImportError: No module named linkextractor”？

Question

我想安装portia 。 它需要scrapy和slybot 。 我还安装了virtualenv （按照推荐）并执行了virtualenv Portia来为这个项目创建一个 python 虚拟环境。 现在它需要使用twistd -n slyd启动twisted服务器，但随后会引发错误：

  File "/home/john/Downloads/portia-master/slybot/slybot/linkextractor/__init__.py", line 6, in <module>
    from .base import BaseLinkExtractor, ALLOWED_SCHEMES   File "/home/john/Downloads/portia-master/slybot/slybot/linkextractor/base.py", line 6, in <module>
    from scrapy.linkextractor import IGNORED_EXTENSIONS ImportError: No module named linkextractor

我安装了 Ubuntu 12.04： python 2.7, pip, python-scrapy, python-twisted

这里可能有什么问题？ 我之前没有使用pip和virtualenv ，我上面描述的部署工作流程（例如 ENVIRONMENT 变量、其他virtualenv/pip配置）似乎有问题吗？

Answer 1

在 python3 linkextractor添加s到linkextractor 。

代替 ：

from scrapy.linkextractor import LinkExtractor

到 ：

from scrapy.linkextractors import LinkExtractor
                         ^

并享受它。

有关更多信息，请阅读 此处的 Scrapy 文档。

Answer 2

它错过了中间部分； contrib ，其中linkextractor是一个子模块。

它应该是：

scrapy.contrib.linkextractor
       ^^^^^^^

Answer 3

好吧，我认为你应该在 github scrapinhub repo 中看到这个问题（ https://github.com/scrapinghub/portia/issues/13 ）。

我通过在我的系统中而不是在 virtualenv 中安装库的导入解决了一些错误。

在我的例子中，库是 jsonschema ( pip install jsonschema ) 和 slybot ( pip install -e slybot )，在我运行 requirements.txt 之后。

此致！