Python 多處理速率限制

Question

假設您想調用一些 API（無需任何 KEY 即可打開），它有一些每秒速率限制（每秒最多 10 個請求）。 假設現在，我正在調用一個 function（帶有 multiprocessing.Pool），它從 API 請求數據並處理它。 有什么方法可以切換 ip 以免被屏蔽嗎？ 也許是 ip/ 代理列表。 有人可以告訴我完成這項工作的方法嗎？

謝謝！

Answer 1

不幸的是，您無法從 api 檢索數據並使用不同的 ip 進行多處理，因為 api 已經將您的 Ip 分配給了它的請求變量。 一些 Web 頁面也有 http 402 錯誤，這意味着發送太多請求可能會超時。

Answer 2

當然，您可以使用很多技巧來繞過速率限制，但您應該花點時間問問自己“我應該這樣做嗎？” 您可能會違反該服務的服務條款，並且在某些司法管轄區，如果您被發現，您可能會面臨法律訴訟。 此外，許多服務實施智能機器人檢測，可以從請求模式中識別機器人行為並阻止多個 IP。 在極端情況下，我看到團隊會封鎖整個國家的 IP 范圍以懲罰機器人。