通過會話代理的python請求

Question

我有一個用例從特定站點獲取數據，該站點每次都需要通過會話進行請求。 我已經在 python 中創建了會話，並且還設置了包含我登錄詳細信息的 cookie。

我目前在數據中心托管我的腳本，但該帳戶被阻止。 我正在考慮通過代理請求數據，但仍然覺得如果我的會話是從不同的機器創建的，並且代理用於通過會話獲取數據，那么代理 IP 被列入黑名單的可能性有多大？

這里有哪些可能的解決方案來解決此類問題。

Answer 1

Python Requests Session 中的場景因地區而異，例如在某些國家/地區，由於國家/地區法律，請求中不允許使用某些標頭。

由於您已經在登錄會話，這意味着您的用戶代理和其他標頭正在根據登錄請求的響應進行設置。

解決方案之一可能是使用一個國家的代理，該國家沒有從該平台提取數據的嚴格規則。