使用 pygooglenews 抓取 Google 新闻

Question

我正在尝试使用pygooglenews从 Google 新闻中进行抓取。 我试图通过使用 for 循环更改目标日期来一次抓取 100 多篇文章（因为谷歌将限制设置为 100）。 以下是我到目前为止的内容，但我不断收到错误消息

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-84-4ada7169ebe7> in <module>
----> 1 df = pd.DataFrame(get_news('Banana'))
      2 writer = pd.ExcelWriter('My Result.xlsx', engine='xlsxwriter')
      3 df.to_excel(writer, sheet_name='Results', index=False)
      4 writer.save()

<ipython-input-79-c5266f97934d> in get_titles(search)
      9 
     10     for date in date_list[:-1]:
---> 11         search = gn.search(search, from_=date, to_=date_list[date_list.index(date)])
     12         newsitem = search['entries']
     13 

~\AppData\Roaming\Python\Python37\site-packages\pygooglenews\__init__.py in search(self, query, helper, when, from_, to_, proxies, scraping_bee)
    140         if from_ and not when:
    141             from_ = self.__from_to_helper(validate=from_)
--> 142             query += ' after:' + from_
    143 
    144         if to_ and not when:

TypeError: unsupported operand type(s) for +=: 'dict' and 'str'

import pandas as pd
from pygooglenews import GoogleNews
import datetime

gn = GoogleNews()

def get_news(search):
    stories = []
    start_date = datetime.date(2021,3,1)
    end_date = datetime.date(2021,3,5)
    delta = datetime.timedelta(days=1)
    date_list = pd.date_range(start_date, end_date).tolist()
    
    for date in date_list[:-1]:
        search = gn.search(search, from_=date.strftime('%Y-%m-%d'), to_=(date+delta).strftime('%Y-%m-%d'))
        newsitem = search['entries']

        for item in newsitem:
            story = {
                'title':item.title,
                'link':item.link,
                'published':item.published
            }
            stories.append(story)

    return stories

df = pd.DataFrame(get_news('Banana'))

先感谢您。

Answer 1

看起来您正确地将字符串传递给get_news() ，然后将其作为第一个参数（ search ）传递给gn.search() 。

但是，您将search重新分配给以下行中gn.search()的结果：

  search = gn.search(search, from_=date.strftime('%Y-%m-%d'), to_=(date+delta).strftime('%Y-%m-%d'))
# ^^^^^^
# gets overwritten with the result of gn.search()

在下一次迭代中，这个重新分配的search被传递到它不喜欢的gn.search()中。

如果您查看pygooglenews中的代码，看起来gn.search()正在返回一个dict ，这将解释错误。

要解决此问题，只需使用不同的变量，例如：

  result = gn.search(search, from_=date.strftime('%Y-%m-%d'), to_=(date+delta).strftime('%Y-%m-%d'))
  newsitem = result['entries']

Answer 2

我知道 pygooglenews 有 100 篇文章的限制，所以你必须做一个循环，让它每天单独抓取。