在無頭鍍鉻 Selenium 上檢測到

Question

我試圖在使用最新的 UserAgent 無頭運行時刮掉亞馬遜，但我的速率受到限制。 當我 # 退出無頭線路時，我不會被檢測到或速率受限。 下面是我的代碼！

options = Options()
options.add_experimental_option("excludeSwitches", ["enable-logging"])
options.add_experimental_option("useAutomationExtension", False)
#options.add_argument("--headless")
options.add_argument("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36")
service = ChromeService(executable_path=ChromeDriverManager().install())
browser = webdriver.Chrome(service=service, options=options)
browser.get("https://www.amazon.com.au/Oculus-Quest-2-Virtual-Reality-Headset/dp/B08FSZ8QWH")
print(browser.page_source)

當我在 options.add_argument("--headless") 刪除 # 並運行代碼時，我得到一個服務器忙線。 有誰知道修復？

Answer 1

為避免使用google-chrome-headless進行檢測，請通過add_argument()添加以下參數，如下所示：

--disable-blink-features=AutomationControlled

示例代碼：

options = Options()
options.headless = True
options.add_argument("start-maximized")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('excludeSwitches', ['enable-logging'])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument('--disable-blink-features=AutomationControlled')
s = Service('C:\\BrowserDrivers\\chromedriver.exe')
driver = webdriver.Chrome(service=s, options=options)
driver.get("https://www.amazon.com.au/Oculus-Quest-2-Virtual-Reality-Headset/dp/B08FSZ8QWH")