将Selenium打开的URL传递给Scrapy并抓取数据

Question

我一直在尝试从Steam商店抓取Bioshock游戏，并将它们的名称，价格和链接保存在CSV文件中。 我知道如何仅通过使用Scrapy来做到这一点，但是我真的很想知道是否有一种方法可以将Scrapy和Selenium结合起来。 我想使用Selenium只是为了摆脱某些游戏商店网站上弹出的年龄检查门。

年龄门的例子

另一个时代门的例子

因此，我已经通过使用Scrapy设法清除了没有年龄限制的游戏，并且已经设法使用Selenium绕过了年龄限制。

我遇到的问题是通过绕开Scrapy的年龄限制来传递Selenium开设的游戏商店网站，以便它可以进行抓取。 由于一切正常，我得出的结论是问题是我不知道如何连接它们。

def parse_product(self, response):
    product = ScrapesteamItem()
    sel = self.driver
    #Passing first age gate
    if '/agecheck/app/' in response.url:
        sel.get(response.url)
        select = Select(sel.find_element_by_xpath("""//*[@id="ageYear"]"""))
        select.select_by_visible_text("1900")
        sel.find_element_by_xpath("""//*[@id="agecheck_form"]/a""").click()
        #Pass Selenium newly opened site to Scrapy
    #Passing second age gate
    elif '/agecheck' in response.url:
        sel.get(response.url)
        sel.find_element_by_xpath("""//*[@id="app_agegate"]/div[3]/a[1]""").click()
        #Pass Selenium newly opened site to Scrapy
    #Scraping the data with scrapy
    else:
        name = response.css('.apphub_AppName ::text').extract()
        price = response.css('div.game_purchase_price ::text, div.discount_final_price ::text').extract()
        link = response.css('head > link:nth-child(40) ::attr(href)').extract()

        for product in zip(name, price, link):
            scrapedInfo = {
                'NAME' : product[0],
                'PRICE' : product[1].rstrip().lstrip(),
                'LINK' : product[2]
            }

            yield scrapedInfo

我希望有人会知道该怎么做（如果可能的话）。

PS：我知道刮Steam存储库有更好的方法，我知道可能有一个API，但在我去了解之前，我想知道是否有办法做到这一点，即使它不是最优的。

Answer 1

直接的答案将是：应用与使用scrapy抓取数据相同的抓取代码，例如：

from scrapy.spiders import xxxxxxxSpider

class MySpider(SitemapSpider):
    sitemap_urls = ['http://www.xxxxxxxSpider.com']
    sitemap_rules = [
        ('/product/', 'parse_product'),        
    ]

    def my_custom_parse_product(self, response):
        name = response.css('.apphub_AppName ::text').extract()
            price = response.css('div.game_purchase_price ::text, div.discount_final_price ::text').extract()
            link = response.css('head > link:nth-child(40) ::attr(href)').extract()

            for product in zip(name, price, link):
                scrapedInfo = {
                    'NAME' : product[0],
                    'PRICE' : product[1].rstrip().lstrip(),
                    'LINK' : product[2]
                }

                yield scrapedInfo

    def parse_product(self, response):
        product = ScrapesteamItem()
        sel = self.driver
        #Passing first age gate
        if '/agecheck/app/' in response.url:
            sel.get(response.url)
            select = Select(sel.find_element_by_xpath("""//*[@id="ageYear"]"""))
            select.select_by_visible_text("1900")
            sel.find_element_by_xpath("""//*[@id="agecheck_form"]/a""").click()
            #Pass Selenium newly opened site to Scrapy
            response = HtmlResponse(url=response.url, body=driver.page_source) 
            #scrapy.http.Response(url=response.url, body=driver.page_source) 
            self.parse(response);               
        #Passing second age gate
        elif '/agecheck' in response.url:
            sel.get(response.url)
            sel.find_element_by_xpath("""//*[@id="app_agegate"]/div[3]/a[1]""").click()
            #Pass Selenium newly opened site to Scrapy
            response = HtmlResponse(url=response.url, body=driver.page_source) 
            #scrapy.http.Response(url=response.url, body=driver.page_source) 
            self.parse(response); 
        #Scraping the data with scrapy
        else:
            my_custom_parse_product(response) #will actually scrap data

但是看来受年龄限制的页面可能包含相同的数据，但是包含不同的元素（例如，不在response.css（'。apphub_AppName :: text'）中），在这种情况下，您需要为每种页面类型实现自己的抓取代码