在不使用 selenium driver.add_cookie() 的情况下存储和使用 cookies？

Question

我正在做一个项目，我正在为给定页面上的所有产品提取 url，并使用 scrapy 解析所有这些单独的 url 以获取产品数据。 问题是，每次加载 url 时，弹出窗口都会出现 3-5 秒，提示您加入那里的时事通讯，并且直到退出后才会加载相关的 html。 使用 Selenium 会非常耗时，所以我想问问是否有人知道解决这个问题的更好方法。

我尝试的代码附在下面的缩写版本中。 本质上，我试图在每个产品页面上的解析 function 中为每个 cookie 使用 driver.add_cookie()，但这失败了，因为在第二个 function 中无法识别驱动程序。当我将驱动程序添加到解析 function 时，它导致了为每个产品打开新的 chrome 实例，这对我的电脑来说太多了。 我非常感谢有关如何解决此问题的任何帮助/指示。 不要犹豫，要求澄清！

`import scrapy
from selenium.webdriver import Chrome, ChromeOptions
from scrapy.crawler import CrawlerProcess
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pickle


class spider(scrapy.Spider):
    name = 'spider'
    custom_settings = {
        'FEEDS': { 'data/file/relevantData.jsonl': {'format': 'jsonlines', 'overwrite': True}}
        }


    def start_requests(self):
        driver_path = r'C:\Users\Me\Desktop'
        options = ChromeOptions()
        options.headless = False
        driver = Chrome(executable_path=driver_path[1:],
                        options=options)
        driver.get('https://www.desiredurl.com/whatever')
       
        pickle.dump(driver.get_cookies(), open('relevantSite_cookies.pkl','wb'))

        [Skipping some code...] 

            link_elements = wait.until(EC.visibility_of_all_elements_located((By.XPATH, 'relevantXPATH')))
            for link_el in link_elements:
                url = link_el.get_attribute('href')
                print('\n\n'+url+'\n\n')
                yield scrapy.Request(url)
            


    def parse(self, response):
        cookies = pickle.load(open('kygunco_cookies.pkl','rb'))
        for cookie in cookies:
            driver.add_cookie(cookie)
        print('Parsing begins')

        [Code continues...]


process = CrawlerProcess()
process.crawl(spider)
process.start()`

Answer 1

但这失败了，因为在第二个 function 中无法识别驱动程序。

很明显， driver在start_requests中定义，在parse function 中未知。您应该在 class 级别定义它，然后将其作为self.driver访问

class spider(scrapy.Spider):
    name = 'spider'

    driver = None

    custom_settings = {
        'FEEDS': { 'data/file/relevantData.jsonl': {'format': 'jsonlines', 'overwrite': True}}
        }


    def start_requests(self):
        driver_path = r'C:\Users\Me\Desktop'
        options = ChromeOptions()
        options.headless = False
        self.driver = Chrome(executable_path=driver_path[1:],
                        options=options)
        self.driver.get('https://www.desiredurl.com/whatever')
       
        pickle.dump(driver.get_cookies(), open('relevantSite_cookies.pkl','wb'))

        [Skipping some code...] 


    def parse(self, response):
        cookies = pickle.load(open('kygunco_cookies.pkl','rb'))
        for cookie in cookies:
            self.driver.add_cookie(cookie)
        print('Parsing begins')