Python：执行Google搜索并仅从前10个结果中提取内容

Question

我正在尝试编写一个脚本，对输入的关键字执行Google搜索，并仅返回前10个URL中的内容。

注意：内容专门指所搜索词所请求的内容，可以在返回的URL正文中找到。

我已经完成了搜索和前10个网址检索部分。 这是脚本：

from google import search
top_10_links = search(keyword, tld='com.in', lang='en',stop=10)

但是，我不知道链接的结构就 只能从链接中检索内容 。 我可以使用开发工具通过查找标记的类等来从特定站点抓取内容。但是我无法弄清楚如何从前10个结果URL中获取内容，因为每个搜索词都有不同的URL（不同的站点具有不同的CSS选择器），并且很难找到所需内容的CSS类。 这是从特定站点提取内容的示例代码。

content_dict = {}
i = 1
for page in links:
    print(i, ' @ link: ', page)
    article_html = get_page(page)#get_page() returns page's html
    soup = BeautifulSoup(article_html, 'lxml')
    content = soup.find('div',{'class': 'entry-content'}).get_text()
    content_dict[page] = content
    i += 1

但是，css类针对不同的站点而更改。 有什么办法可以使此脚本正常工作并获得所需的内容吗？

Answer 1

在不知道要抓取的内容的结构的情况下不能进行抓取，但是有一个软件包可以执行类似的操作。 看报纸