我的浏览器能够下载文件（从 url），但 Python 的请求和 PyCurl 收到“连接已重置”错误。 怎么修？

Question

我正在尝试通过 url 从服务器下载几个大文件。

通过 Chrome 或 Internet Explorer 下载文件时，下载文件大约需要 4-5 分钟，文件大小约为 100 MB。

但是当我尝试使用 PyCurl 进行相同的下载时

buffer = BytesIO()
ch = curl.Curl()
ch.setopt(ch.URL, url)
ch.setopt(curl.TRANSFERTEXT, True)
ch.setopt(curl.AUTOREFERER, True)
ch.setopt(curl.FOLLOWLOCATION, True)
ch.setopt(curl.POST, False)
ch.setopt(curl.SSL_VERIFYPEER, 0)
ch.setopt(curl.WRITEFUNCTION, buffer.write)
ch.perform()

或者使用请求

r = requests.get(url).text

我得到

'pycurl.error: (56, 'OpenSSL SSL_read: Connection was reset, errno 10054')'

或者

 '[Errno 10054] An existing connection was forcibly closed by the remote host.'

当我在下载大文件期间查看 Chrome 时，这就是我看到的

 General:
 Referrer Policy: no-referrer-when-downgrade 

Requests Header:

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Encoding: gzip, deflate, br
Accept-Language: en-US,en;q=0.9
Cache-Control: no-cache
Connection: keep-alive 
Cookie : JSESSIONID = ****
Pragma: no-cache
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: none
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/... (KHTML, like Gecko) Chrome/... Safari/...

有什么我可以在我的配置中做的事情来不关闭连接，就像我通过浏览器访问它一样？ 或者是在服务器端问题出在哪里？

编辑

添加更多信息。 发出请求后的大部分时间都花在等待服务器在实际下载开始之前将数据放在一起（它通过聚合来自不同数据源的数据生成 XML 文件）。

Answer 1

尝试向您的请求添加标头和 cookie。

headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36" } 
cookies = { "Cookie1": "Value1"} 


r = requests.get(url, headers=headers, cookies=cookies)