用 python 请求刮大叫会给出 403 错误

Question

我有这个代码

from requests.sessions import Session
url = "https://www.yell.com/s/launderettes-birmingham.html"

s = Session()
headers = {
    'user-agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36",
}
r = s.get(url,headers=headers)
print(r.status_code)

但我得到 403 输出，而不是 200

我可以用 selenium 刮取这些数据，但是有没有办法用请求刮取这些数据

Answer 1

如果您像这样修改代码：

print(r.text)
print(r.status_code)

您会看到，您收到 400 错误代码的原因是由于使用 Cloudflare 浏览器检查而yell 。

由于它使用 javascript，因此无法可靠地使用 requests 模块。

既然您提到您将使用 selenium，请确保使用未检测到的驱动程序包另外，请确保轮换您的 IP以避免您的 IP 被阻止。