Selenium Python 更改 IP

Question

我正在使用 Selenium for Python 編寫一個網絡爬蟲。 抓取工具每小時多次訪問相同的站點，因此我希望找到一種方法，每隔幾次搜索就更改我的 IP。 對此的最佳策略是什么（我正在使用 Firefox）？ 是否有任何預先編寫的代碼/我可以切換的 IP 地址 csv？ 我對屏蔽 IP、代理等完全陌生，所以請放輕松！

Answer 1

嘗試使用代理。 有免費選項（不太可靠）或付費服務。

from selenium import webdriver
    
def change_proxy(proxy,port):
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 1)
    profile.set_preference("network.proxy.http", proxy)
    profile.set_preference("network.proxy.http_port", port)
    profile.set_preference("network.proxy.ssl", proxy)
    profile.set_preference("network.proxy.ssl_port", port)
    driver = webdriver.Firefox(profile)
    return driver

Answer 2

您的 ISP 會為您分配 IP 地址。 如果您注冊了 hidemyass.com 之類的網站，他們可能會為您提供一個應用程序來更改您的代理，盡管我不知道他們是如何做到的。

但是，如果他們有一個應用程序可以讓您通過各種代理循環，那么您的所有互聯網流量都將通過該代理——包括您的抓取工具。 刮板不需要知道這些代理或隱藏我的屁股是如何工作的 - 它會像您的瀏覽器或 FTP 客戶端一樣通過代理進行連接或......