python中的代理检查

Question

我在 python 中编写了一个使用 cookie 和 POST/GET 的脚本。 我还在我的脚本中加入了代理支持。 但是，当一个人进入一个死代理时，脚本会崩溃。 在运行我的脚本的其余部分之前，有什么方法可以检查代理是否死/活？

此外，我注意到一些代理不能正确处理 cookie/POST 标头。 有没有什么办法解决这一问题？

Answer 1

最简单的方法是简单地从 urllib 中捕获 IOError 异常：

try:
    urllib.urlopen(
        "http://example.com",
        proxies={'http':'http://example.com:8080'}
    )
except IOError:
    print "Connection error! (Check proxy)"
else:
    print "All was fine"

此外，从这篇博客文章 - “检查状态代理地址” （有一些细微的改进）：

对于蟒蛇 2

import urllib2
import socket

def is_bad_proxy(pip):    
    try:
        proxy_handler = urllib2.ProxyHandler({'http': pip})
        opener = urllib2.build_opener(proxy_handler)
        opener.addheaders = [('User-agent', 'Mozilla/5.0')]
        urllib2.install_opener(opener)
        req=urllib2.Request('http://www.example.com')  # change the URL to test here
        sock=urllib2.urlopen(req)
    except urllib2.HTTPError, e:
        print 'Error code: ', e.code
        return e.code
    except Exception, detail:
        print "ERROR:", detail
        return True
    return False

def main():
    socket.setdefaulttimeout(120)

    # two sample proxy IPs
    proxyList = ['125.76.226.9:80', '213.55.87.162:6588']

    for currentProxy in proxyList:
        if is_bad_proxy(currentProxy):
            print "Bad Proxy %s" % (currentProxy)
        else:
            print "%s is working" % (currentProxy)

if __name__ == '__main__':
    main()

对于蟒蛇 3

import urllib.request
import socket
import urllib.error

def is_bad_proxy(pip):    
    try:
        proxy_handler = urllib.request.ProxyHandler({'http': pip})
        opener = urllib.request.build_opener(proxy_handler)
        opener.addheaders = [('User-agent', 'Mozilla/5.0')]
        urllib.request.install_opener(opener)
        req=urllib.request.Request('http://www.example.com')  # change the URL to test here
        sock=urllib.request.urlopen(req)
    except urllib.error.HTTPError as e:
        print('Error code: ', e.code)
        return e.code
    except Exception as detail:
        print("ERROR:", detail)
        return True
    return False

def main():
    socket.setdefaulttimeout(120)

    # two sample proxy IPs
    proxyList = ['125.76.226.9:80', '25.176.126.9:80']

    for currentProxy in proxyList:
        if is_bad_proxy(currentProxy):
            print("Bad Proxy %s" % (currentProxy))
        else:
            print("%s is working" % (currentProxy))

if __name__ == '__main__':
    main() 

请记住，如果代理关闭，这可能会使脚本花费的时间加倍（因为您将不得不等待两次连接超时）。除非您特别需要知道代理有问题，否则处理 IOError 会更清晰、更简单和更快..

Answer 2

您可以使用 Proxy-checker 库，就像这样简单

from proxy_checker import ProxyChecker

checker = ProxyChecker()
checker.check_proxy('<ip>:<port>')

输出 ：

{
  "country": "United States",
  "country_code": "US",
  "protocols": [
  "socks4",
  "socks5"
  ],
  "anonymity": "Elite",
  "timeout": 1649
}

可以生成自己的代理并用两行代码检查它们

Answer 3

我认为更好的方法就像 dbr 所说的，处理异常。

在某些情况下可能更好的另一种解决方案是使用外部在线代理检查器工具来检查代理服务器是否处于活动状态，然后继续使用您的脚本而不做任何修改。

Answer 4

有一个不错的包Grab所以，如果对你来说没问题，你可以写这样的东西（简单有效的代理检查器生成器）：

from grab import Grab, GrabError

def get_valid_proxy(proxy_list): #format of items e.g. '128.2.198.188:3124'
    g = Grab()
    for proxy in proxy_list:
        g.setup(proxy=proxy, proxy_type='http', connect_timeout=5, timeout=5)
        try:
            g.go('google.com')
        except GrabError:
            #logging.info("Test error")
            pass
        else:
            yield proxy

Answer 5

您可以使用 ip-getter 网站获取您发送请求的 IP，然后检查该 IP 是否与您的代理 IP 或其他内容相同。 这是一个关于这个问题的脚本：

import requests

proxy_ip = "<IP>"
proxy_port = "<PORT>"
proxy_user = "<USERNAME>"
proxy_pass = "<PASSWORD>"

proxies = {
    "http": f"http://{proxy_user}:{proxy_pass}@{proxy_ip}:{proxy_port}/",
    "https": f"http://{proxy_user}:{proxy_pass}@{proxy_ip}:{proxy_port}/"
}

url = 'https://api.ipify.org'

try:
    response = requests.get(url, proxies=proxies)
    assert response.text==proxy_ip
except:
    print("Proxy does not work")