在 python 中抓取特定日期范圍的 Google 搜索結果

Question

我正在嘗試構建一個系統，允許我將特定日期范圍的谷歌搜索結果拉到我的本地機器上。 我嘗試了以下代碼：

import requests, bs4

res =
requests.get('https://www.google.com/search?q=nepal+OR+नेपाल&tbs=cdr:1,cd_min:4/1/2020,cd_max:4/8/2020')
res.raise_for_status()

soup = bs4.BeautifulSoup(res.text, 'html.parser') 
linkElements = soup.select('div')

 open('output.html', 'w').write(res.text)

它生成的結果如下圖所示。 沒有日期范圍

它顯示了“尼泊爾 OR नेपाल”的正常搜索結果，但我需要某個日期范圍的搜索結果，比如2020 年 4 月 1 日到 2020 年 4 月 8 日，如圖所示

通過一些研究，我了解到這可以通過使用SerpAPI等 API 來完成，但這將花費我每月 50 美元。

有沒有其他方法可以做到這一點？

Answer 1

我建議您嘗試 selenium 與請求不同，它可以與頁面交互，並且您可以執行 JavaScript 命令來設置日期范圍。