为什么使用urllib2 python库时，与使用浏览器时相比，worldcat REST API返回响应所花的时间要长得多？

Question

我正在使用worldcat python软件包，该软件包使用worldcat开放式REST API，并使用搜索查询和其他参数来获取图书数据。

self.response = urllib2.urlopen(_query_url).read()

其中_query_url是由基本url和一些参数（例如搜索字符串，每页记录数等）组成的url。通过使用timeit包，我发现每次调用API花费了18-20秒。

但是，如果我从浏览器发出请求仅需3-4秒，是什么原因导致python lib延迟，这正常吗？ 如何在python中更快地提出API请求？

Answer 1

我的幸运猜测是使用自定义标头-它们可能具有某种保护或其他保护。

尝试：

headers = {
    "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:37.0) Gecko/20100101 Firefox/37.0",
    "Accept-Encoding": "gzip, deflate",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.5",
    "Connection": "keep-alive",
    "Content-Type": "text/html;charset=utf-8"
}

r = urllib2.Request(_query_url, None, headers)
self.response = urllib2.urlopen(r)

无论如何，我喜欢使用python'requets' ，为什么不尝试一下。 简单稳定。 除了一些SSL密钥问题外，这就是另一个故事。