从谷歌搜索页面抓取代码段文本

Question

当我们在谷歌中搜索一个问题时，它通常会在一个片段中产生一个答案，如下所示：

我的目标是在我的 python 代码中刮掉这段文字（“ August 4, 1961 ”在屏幕截图中被红色标记包围）。

在尝试抓取文本之前，我使用以下代码将 web 响应存储在文本文件中：

page = requests.get("https://www.google.com/search?q=when+barak+obama+born")
soup = BeautifulSoup(page.content, 'html.parser')
out_file = open("web_response.txt", "w", encoding='utf-8')
out_file.write(soup.prettify())

在检查元素部分，我注意到该片段位于 div class Z0LcW XcVN5d （在屏幕截图中被绿色标记包围）。 但是，我的 txt 文件中的响应不包含此类文本，更不用说 class 名称了。

我也试过这个解决方案，作者用 id rhs_block刮掉了项目。 但我的回复不包含这样的 id。

我在我的响应 txt 文件中搜索了“1961 年 8 月 4 日”的出现，并试图理解它是否可能是片段。 但这些事件似乎都不是我想要的。

我的计划是获取片段的 div id 或 class 名称并找到它的内容，如下所示：

# IT'S A PSEUDO CODE
containers = soup.find_all(class or id = 'somehting')
for tag in containers:
    print(f"tag text : {tag.text}")

有没有办法做到这一点？

注意：我也可以使用 beautifulsoup 和请求以外的库，只要它可以产生结果。

Answer 1

无需使用Selenium ，您可以使用requests和BS4来实现这一点，因为您需要的一切都位于 HTML 并且没有动态 JavaScript。

在线 IDE中的代码和示例：

from bs4 import BeautifulSoup
import requests, lxml

headers = {
    'User-agent':
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19582"
}

html = requests.get('https://www.google.com/search?q=Barack Obama born date', headers=headers).text

soup = BeautifulSoup(html, 'lxml')

born = soup.select_one('.XcVN5d').text
age = soup.select_one('.kZ91ed').text

print(born)
print(age)

Output：

August 4, 1961
age 59 years

Answer 2

Selenium 将产生您需要的结果。 这很方便，因为您可以添加任何等待并查看屏幕上实际发生的情况。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


driver = webdriver.Chrome(executable_path='/snap/bin/chromium.chromedriver')

driver.get('https://google.com/')
assert "Google" in driver.title
wait = WebDriverWait(driver, 20)
wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ".gLFyf.gsfi")))
input_field = driver.find_element_by_css_selector(".gLFyf.gsfi")
input_field.send_keys("how many people in the world")
input_field.send_keys(Keys.RETURN)

wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, ".Z0LcW.XcVN5d")))
result = driver.find_element_by_css_selector(".Z0LcW.XcVN5d").text
print(result)
driver.close()
driver.quit()

结果可能会让你想知道:)

您需要安装Selenium和Chromedriver 。 您需要将 Chromedriver 可执行文件放在 Windows 的路径中，或显示 Linux 的路径。 我的例子是 Linux。