[英]Scrapy Multiple Spiders executing serially
我有一個拼命的項目。 我已經將Spider與Selenium Webdriver集成在一起,代碼看起來像這樣。
def start(i):
//do some navigation with selenium webdriver
return url
class abc(BaseSpider):
name = '123'
x = start(5)
start_urls = [x]
def parse(self, response):
// scrape data.
class fgh(BaseSpider):
name = '456'
x = start(8)
start_urls = [x]
def parse(self, response):
// scrape data.
.... and so on {20 classes as such}..
現在,每當我嘗試scrapy crawl 456
,它就會從第一個蜘蛛網“ 123”開始執行。 控件未轉移到相應的蜘蛛網。 我是硒和草皮的新手。 請幫忙。
實際上,它是與.pyc
文件一起使用的。 我刪除了它,現在它運行正常。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.