在 Python 中使用 Selenium 和 chromedriver 进行网页抓取

Question

我正在看这个页面。 我正在尝试使用 Selenium 和 chromdriver 来抓取这些数据（由红色标记显示）：

这是我的 Python 代码：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from time import sleep

chrome_options = Options()
chrome_options.add_argument("--disable-infobars")
chrome_options.add_argument("disable-infobars")
driver = webdriver.Chrome(executable_path="/ABC/chromedriver", chrome_options=chrome_options)

driver.get("https://finance.yahoo.com/quote/IBM")
sleep(10)
estimated = driver.find_element_by_class_name("IbBox Ta(start) C($tertiaryColor)")

但是代码没有得到Est. Return Est. Return并在长时间等待后返回此错误消息：

selenium.common.exceptions.InvalidSelectorException: Message: invalid selector: An invalid or illegal selector was specified

我做错了什么，从页面获取Est Return值的最佳和最快方法是什么？

更新：这是我在 Chrome 中使用检查元素时看到的内容：

Answer 1

Header 在获取您想要的值方面起着重要作用，因此请确保您拥有一个。 鉴于这是您获得所需内容的方式。

import requests
from bs4 import BeautifulSoup

link = "https://finance.yahoo.com/quote/IBM"

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'}

r = requests.get(link,headers=headers)
soup = BeautifulSoup(r.text,"lxml")
est_return = soup.select_one("[class='Mb\(8px\)']").get_text()
print(est_return)

Answer 2

您可以尝试使用 XPath，它应该如下所示：

estimated = driver.find_element_by_xpath("*//div[@class='IbBox Ta(start) C($tertiaryColor)']").text()

让我知道它是怎么回事！ :D

Answer 3

这个错误信息...

selenium.common.exceptions.InvalidSelectorException: Message: invalid selector: An invalid or illegal selector was specified

...暗示您使用的定位器策略不是有效的表达式。

---

抓取文本-6% Est。 返回您需要为visibility_of_element_located()引入WebDriverWait ，您可以使用以下定位器策略：

• 使用XPATH ：

   driver.get('https://finance.yahoo.com/quote/IBM') print(WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, "//div[text()='Near Fair Value']//following::div[1]/div"))).text)

• 控制台输出：

   -6% Est. Return

• 注意：您必须添加以下导入：

   from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC