为什么在 python 一段时间后请求停止？

Question

我有这个代码，它的function是发送Jetta类型的请求，从请求中带上文本，从文本文件中读取网站链接，问题是发送300或500个请求后，脚本停止而不显示任何错误，它只是停止工作？

import requests

sites = open(r'site.txt', 'r', encoding="utf8").readlines()

l_site = []

for i in sites:
    l_site.append(i)


for x in len(l_site):
    result = requests.get(f'{site}', allow_redirects=True).text
    open('result.txt', 'a').write(f'{result}\n')

Answer 1

如果我理解正确，这就是你想要的：

1. 从site.txt读取
2. 如果 http 请求成功，则 append 响应载荷到result.txt
3. 如果 http 请求由于超时而失败，例如，append 将结果与 url 到另一个文件

这是一段运行的代码。 请注意，如果您想捕获更多类型的错误，您可以更改except部分。

import requests

URLS_FILE = 'site.txt'
RESULT_FILE = 'result.txt'
ERRORS_FILE = 'result-error.txt'

def handle_url(url: str, result_file, error_file): 
    try:
        # 10 seconds timeout, not download time, but time to get an HTTP response
        content = requests.get(url, allow_redirects=True, timeout=10)
        result_file.write(f'{content.text}\n')
    except requests.exceptions.ConnectTimeout as e:
        error_file.write(f'{url}: {e}\n')




with open(URLS_FILE, 'r', encoding="utf8") as f:
    with open(RESULT_FILE, 'a') as rf:
        with open(ERRORS_FILE, 'a') as ef:
            for url in f.readlines():
                handle_url(url, rf, ef)

Answer 2

我认为您的 function 比您在此处输入的内容更多，因为我看不到site变量的创建位置。

您可以按照这些思路做一些事情，以更好地了解它在哪里停止。

import requests

sites = open(r'site.txt', 'r', encoding="utf8").readlines()

l_site = [s for s in sites]

with open('result.txt', 'a') as fb:

    for site in l_site:
        try:
            print(f"Processing {site}")
            result = requests.get(f'{site}', allow_redirects=True).text
            fb.write(f'{result}\n')
        except Exception as e:
            raise e