Selenium webdriver沒有打開正確的url，而是打開一個空白頁

Question

我正在使用 selenium webdriver 嘗試從 realestate.com.au 抓取信息，這是我的代碼：

從 selenium.webdriver 導入 Chrome 從 bs4 導入 BeautifulSoup

path = 'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe'
url = 'https://www.realestate.com.au/buy'
url2 = 'https://www.realestate.com.au/property-house-nsw-castle+hill-134181706'
webdriver = Chrome(path)
webdriver.get(url)
soup = BeautifulSoup(webdriver.page_source, 'html.parser')
print(soup)

它適用於 URL 但是當我嘗試做同樣的事情來打開 url2 時，它會打開一個空白頁面，我檢查控制台得到以下信息：“加載資源失敗：服務器響應狀態為 429 () 關於:blank:1 加載資源失敗：net::ERR_UNKNOWN_URL_SCHEME 149e9513-01fa-4fb0-aad4-566afd725d1b/2d206a39-8ed7-437e-a3be-862e0f06eea3/fingerprint:1 加載資源失敗：服務器響應狀態為 404 ( )"

在打開 URL 時，我嘗試搜索任何內容，這也會導致出現 url2 之類的空白頁面。

Answer 1

我認為您應該嘗試在 get 行之前添加driver.implicitly_wait(10) ，因為這將添加隱式等待，以防頁面加載太慢而驅動程序無法拉取站點。 您還應該考慮試用 Firefox 網絡驅動程序，因為這個錯誤似乎只影響鉻瀏覽器。

Answer 2

看起來www.realestate.com.au網站正在使用 Akamai 安全工具。

快速 DNS 查找顯示www.realestate.com.au解析為 dualstack.realestate.com.au.edgekey.net。

他們最有可能使用 Bot Manager 產品 ( https://www.akamai.com/us/en/products/security/bot-manager.jsp )。 我最近在另一個網站上遇到了這個問題。

通常輪換用戶代理和 IP 地址（理想情況下使用住宅代理）應該可以解決問題。 您希望每次都使用“新”瀏覽器配置文件加載站點。 您還應該查看https://github.com/67-6f-64/akamai-sensor-data-bypass