尝试将刮y的蜘蛛导入django时出现导入错误

Question

当用户发出请求时，我正在尝试从django项目中运行scrapy蜘蛛，因此我目前正在测试scrapy文档中的代码，以便从脚本中运行Spider。 为了测试如何将Spider导入django项目，我在django项目中添加了scrapy spider的目录（即url，设置和wsgi文件所在的目录）中添加了一个文件。 当我尝试导入功能以从Spiders文件中运行搜寻器进程时，出现导入错误。 这是我使用的语句：

from trydjango18.ticket_city_scraper.ticket_city_scraper.ticket_city_scraper.spiders.tc_spiders import spiderCrawl

这似乎含糊不清，所以我在下面有文件路径的屏幕快照。 导入spider.py文件的正确方法是什么？

爬虫蜘蛛的文件路径

带有测试文件的文件路径

更新我能够从脚本中运行蜘蛛程序； 但是，我现在从Spiders文件中获取了Items模块的另一个导入错误。 我认为这很可能是由于在脚本中仅添加了spiders.py的路径，而不添加了其他必要的模块。 这些是我使用的语句（以及脚本中的其余代码）：

import imp
tc_spider = imp.load_source('tc_spider', '/home/elijah/Desktop/trydjango18/src2/trydjango18/trydjango18/ticket_city_scraper/ticket_city_scraper/spiders/tc_spider.py')  


bandname = raw_input("Enter bandname")
tc_spider.spiderCrawl(bandname)

Answer 1

如我所见，有2个错误：

1. 您的路径中有多余的ticket_city_scraper 。

   应该：

    from trydjango18.ticket_city_scraper.ticket_city_scraper.spiders.tc_spiders import spiderCrawl 

2. 没有tc_spiders.py 。

   添加tc_spiders.py或从tc_spider.py导入。

考虑到你问过

spider.py文件

我假设您的意思是tc_spider.py ，因此一个完整的解决方案是：

from trydjango18.ticket_city_scraper.ticket_city_scraper.spiders.tc_spider import spiderCrawl

还要确保：

1. 每个软件包都包含__init__.py 。
2. tc_spiders.py / tc_spider.py包含模块级功能spiderCrawl 。