有没有更快的方法来检查众多网站的可用性

Question

今天是个好日子。

这段代码正在检查网站的可用性，但它正在加载整个页面，所以如果我有一个100 个网站的列表，它会很慢。

我的问题是：有什么办法可以更快地做到这一点？

import requests
user_agent = {'accept': '*/*', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}

session = requests.Session()
response = session.get("http://google.com", headers=user_agent, timeout=5)
if response.status_code == 200:
    print("Checked & avaliable")
else:
    print("Not avaliable")

谢谢！

每一个帮助都会受到赞赏

Answer 1

你可以使用它：

import urllib.request
print(urllib.request.urlopen("http://www.google.com").getcode())
#output
>>> 200

Answer 2

此代码正在检查网站是否可用，但它正在加载整个页面

要不加载整个页面，您可以发出HEAD请求，而不是GET ，因此您只需检查状态。 请参阅使用 Python 请求获取 HEAD 内容

另一种使其更快的方法是使用多个线程或 asyncio ( https://pawelmhm.github.io/asyncio/python/aiohttp/2016/04/22/asyncio-aiohttp.html ) 发出多个请求。

Answer 3

这个问题可能与检查网站是否通过Python建立了重复

在我链接的上一页中，Anthony Forloney提供的答案可能满足您的要求。