簡體   English   中英

Scrapy多個蜘蛛連續執行

[英]Scrapy Multiple Spiders executing serially

我有一個拼命的項目。 我已經將Spider與Selenium Webdriver集成在一起,代碼看起來像這樣。

def start(i):
    //do some navigation with selenium webdriver

    return url

class abc(BaseSpider):
    name = '123'
    x = start(5)
    start_urls = [x]
    def parse(self, response):

        // scrape data.


class fgh(BaseSpider):
    name = '456'
    x = start(8)
    start_urls = [x]
    def parse(self, response):

        // scrape data.

.... and so on {20 classes as such}..

現在,每當我嘗試scrapy crawl 456 ,它就會從第一個蜘蛛網“ 123”開始執行。 控件未轉移到相應的蜘蛛網。 我是硒和草皮的新手。 請幫忙。

實際上,它是與.pyc文件一起使用的。 我刪除了它,現在它運行正常。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM