请求很慢，有时返回错误

Question

我运行请求

url = 'https://www.yellowpages.com/boston-ma/mip/the-oceanaire-seafood-room-455904020'
r = requests.get(url)

但有时需要很长时间并返回 Response 对象，有时会返回错误：

SSLError: HTTPSConnectionPool(host='www.yellowpages.com', port=443): Max retries exceeded with url: /boston-ma/mip/the-oceanaire-seafood-room-455904020 (Caused by SSLError(SSLError("bad handshake: SysCallError(10054, 'WSAECONNRESET')")))

通常，请求非常快，但现在，在这个网页和这个网站的类似网页上，它是不稳定的。 也许我需要使用除 requests 之外的另一种选择？ 还是网页的问题？

Answer 1

你被限速了。 这意味着服务器会计算您请求数据的频率，并在您发送一定数量的请求后停止响应。

对此最简单的解决方案是稍等片刻，然后再试一次。 通常，这会在经过一定时间后重置。

如果您的脚本发送多个请求，请尝试在您的请求之间添加延迟，例如使用time.sleep() ：

for _ in range(10):
    requests.get(url)
    time.sleep(1)  # One second of delay. You may need to increase this.

使用会话

如果您连续发送多个请求，您可以通过使用 requests.Session 来加速请求。 这可以确保与服务器的连接保持打开和配置，并且还保留 cookie 作为一个很好的好处。 试试这个（来源）：

import requests
session = requests.Session()
url = "..."  # Add your URL here
for _ in range(10):
    session.get(url)

没有解决你的问题？

如果这不能解决您的问题，我在这里收集了一些其他可能的解决方案。