从脚本设置Scrapy start_urls

Question

我有一个工作的scrapy蜘蛛，我可以通过一个单独的脚本运行它，按照这里的例子 。 我还为我的脚本创建了一个wxPython GUI，它只包含一个多行TextCtrl，供用户输入要抓取的URL列表和要提交的按钮。 目前start_urls被硬编码到我的蜘蛛中 - 如何将我在TextCtrl中输入的URL传递给我的蜘蛛中的start_urls数组？ 先谢谢您的帮助！

Answer 1

alecxe答案对我不起作用。 我的解决方案适用于Scrapy == 1.0.3：

from scrapy.crawler import CrawlerProcess
from tutorial.spiders.some_spider import SomeSpider

process = CrawlerProcess()

process.crawl(SomeSpider, start_urls=["http://www.example.com"])
process.start()

它可能在将来帮助某人。

Answer 2

只需在Spider实例上设置start_urls ：

spider = FollowAllSpider(domain=domain)
spider.start_urls = ['http://google.com']