使用 Selenium 和 Docker 設置代理

Question

我在使用代理進行抓取時遇到了麻煩。 我使用 dockerized Python 代碼和

selenium/standalone-chrome

圖片。 我試過這樣的事情

def get_chrome_driver(proxy):
    proxy = str(proxy)
    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument('--proxy=%s' % proxy)
    chrome_options.add_argument("--no-sandbox")
    chrome_options.add_argument("--headless")
    chrome_options.add_argument("--disable-gpu")

    driver = webdriver.Remote(
        command_executor='http://chrome:4444/wd/hub',
        options=webdriver.ChromeOptions()
        )

    return driver

傳遞參數，但 Chrome 實例似乎忽略了它。 我有一個示例抓取器從 ident.me 網頁抓取 IP 地址，它返回我機器的 IP。

Answer 1

您正在使用此行為驅動程序實例保存默認選項

options=webdriver.ChromeOptions()

您需要設置您創建的選項

options=chrome_options