如何修复出现超时异常错误的 selenium 代码？

Question

我正在尝试在 python 中制作 selenium 脚本，以显示 bol.com 上的卖家有多少评论。 每次，我都会收到错误selenium.common.exceptions.TimeoutException: Message: 。 这是我的代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Firefox()
driver.get("https://www.bol.com/nl/v/looliving-nl/1146429/")
reviews = WebDriverWait(driver,30).until(EC.visibility_of_element_located((By.XPATH,"//div[@class='media_body'/following::p"))).text
print(reviews)

我将如何修复我的脚本？

Answer 1

你试过requests和lxml吗？ 这可能会解决您的问题......但就像 Greg 提到的那样，这取决于网站来源。

import requests
from lxml import html

page = requests.get("https://www.bol.com/nl/v/looliving-nl/1146429/")
tree = html.fromstring(page.content)

reviews = tree.xpath("//div[@class='media_body'/following::p") 

Answer 2

不正确的表达式： //div[@class='media_body'/following::p 。

你可以使用这个xpath : //div[@class='media__body']//p

reviews = WebDriverWait(driver,30).until(EC.visibility_of_element_located((By.XPATH,"//div[@class='media__body']//p"))).text
print(reviews)

控制台 output：

Totaal aantal beoordelingen: 6