在 python 中抓取特定日期范围的 Google 搜索结果

Question

我正在尝试构建一个系统，允许我将特定日期范围的谷歌搜索结果拉到我的本地机器上。 我尝试了以下代码：

import requests, bs4

res =
requests.get('https://www.google.com/search?q=nepal+OR+नेपाल&tbs=cdr:1,cd_min:4/1/2020,cd_max:4/8/2020')
res.raise_for_status()

soup = bs4.BeautifulSoup(res.text, 'html.parser') 
linkElements = soup.select('div')

 open('output.html', 'w').write(res.text)

它生成的结果如下图所示。 没有日期范围

它显示了“尼泊尔 OR नेपाल”的正常搜索结果，但我需要某个日期范围的搜索结果，比如2020 年 4 月 1 日到 2020 年 4 月 8 日，如图所示

通过一些研究，我了解到这可以通过使用SerpAPI等 API 来完成，但这将花费我每月 50 美元。

有没有其他方法可以做到这一点？

Answer 1

我建议您尝试 selenium 与请求不同，它可以与页面交互，并且您可以执行 JavaScript 命令来设置日期范围。