从Google搜索中抓取网址

Question

我正在尝试编写一个代码，以获取Google在某个单词中搜索的HTTP页面的1000个第一个URL。 我在Python中使用此代码获取了1000个第一个URL

import GoogleScraper
import urllib

urls = GoogleScraper.scrape('english teachers', number_pages=2)
for url in urls:
    print(urllib.parse.unquote(url.geturl()))

print('[!] Received %d results by asking %d pages with %d results per page' %
        (len(urls), 2, 100))`

但是此代码返回0个收到的结果。 还有另一种方法可以方便地从Google搜索中获取大量URL？ 我也尝试了xgoogle和pygoogle模块，但是它们只处理少量的页面请求即可。

Answer 1

Google有一个自定义搜索API ，可让您每天免费进行100个查询。 假设每页每页有10个结果，那么一天之内您几乎不能容纳1000个结果。 xgoogle和pygoogle只是此API的包装，因此我认为您无法通过使用它们获得更多结果。

如果您确实需要更多，请考虑使用另一个API密钥创建另一个Google帐户，这将使您的限额实际上翻倍。 如果您对结果稍差一点没问题，可以尝试使用Bing的Search API （它们每月提供5000个请求）。