Python在網絡抓取過程中請求太多重定向？

Question

所以我想通過Web抓取一個站點，但是當我在幾個請求（最多約30個）requests.get之后迭代結果頁面時，拋出此錯誤：

request.exceptions.TooManyRedirects：超過30個重定向

搜索URL重定向到主頁URL，然后每個下一個URL都作用相同，直到我連接到不同的VPN。 即使當我欺騙用戶代理並從免費代理列表中輪換代理時，它仍然會在幾次請求后被重定向。 我以前從未像以前那樣在網絡抓取過程中遇到問題。 繞過此“重定向塊”的最佳方法是什么？ allow_redirects = False在這里也不起作用。

import requests
import random
import time

agents = [...] # List of user agents

for i in range(1,100):
    url = "https://panoramafirm.pl/odpady/firmy,{}.html".format(i)
    r = requests.get(url, headers={"User-Agent": random.choice(agents)})
    print(r.status_code)
    time.sleep(random.randint(10,15))

Answer 1

由於您正在使用requests ，因此可以使用allow_redirects=False選項。