Python | HTTP-下载前如何检查文件大小

Question

我正在使用urllib3爬网。 示例代码：

from urllib3 import PoolManager

pool = PoolManager()
response = pool.request("GET", url)

问题在于，我可能偶然发现了下载非常大文件的网址，而下载时并没有感到困惑。

我发现了这个问题- 链接 -它建议使用urllib和urlopen 。 我不想联系服务器两次。

我想将文件大小限制为25MB。 有没有办法我可以用urllib3做到这urllib3 ？

Answer 1

如果服务器提供了Content-Length标头，则可以使用该标头来确定是否要继续下载正文的其余部分。 如果服务器不提供标头，则需要流式传输响应，直到您决定不再继续。

为此，您需要确保未预加载完整的响应 。

from urllib3 import PoolManager

pool = PoolManager()
response = pool.request("GET", url, preload_content=False)

# Maximum amount we want to read  
max_bytes = 1000000

content_bytes = response.headers.get("Content-Length")
if content_bytes and int(content_bytes) < max_bytes:
    # Expected body is smaller than our maximum, read the whole thing
    data = response.read()
    # Do something with data
    ...
elif content_bytes is None:
    # Alternatively, stream until we hit our limit
    amount_read = 0
    for chunk in r.stream():
        amount_read += len(chunk)
        # Save chunk
        ...
        if amount_read > max_bytes:
            break

# Release the connection back into the pool
response.release_conn()