使用 Anaconda 运行爬虫蜘蛛

Question

您好，我正在尝试完成在以下位置找到的教程：

https://doc.scrapy.org/en/latest/intro/tutorial.html

我已经完成了“我们的第一个蜘蛛”的所有步骤而没有错误，但是当我尝试运行蜘蛛时，当我运行“scrapy crawl quote”时，我收到以下错误消息：

文件 "//anaconda/lib/python2.7/site-packages/scrapy/spiderloader.py", line 43, in load raise KeyError("Spider not found: {}".format(spider_name)) KeyError: 'Spider not发现：引号'

所以出于某种原因，蜘蛛管理器没有找到蜘蛛。 但是，当我直接导航到蜘蛛目录时，我可以毫无错误地找到蜘蛛。

Answer 1

Scrapy 命令行选项“crawl”需要一个 Scrapy 项目才能找到指定的蜘蛛，并开始爬行（请参阅此处的文档，其中列出了“Requires Project: yes ”）。

实际上，Scrapy 无法知道您系统上所有 Scrapy 蜘蛛的位置，选择一个并运行它。 对于需要项目的选项，您必须位于 Scrapy 项目的目录中，该目录中将包含文件scrapy.cfg 。

如果您不想使用“crawl”，您可以使用“runspider”代替，并指定包含蜘蛛的 Python 文件。