python - 使用请求保存某些页面的 html 不起作用 [重复]

Question

这个问题在这里已经有了答案：

请求中的 URL 超出了最大重试次数(20 个答案)

Urllib3 错误“SSL：错误的签名类型” 3 个答案

23 分钟前关闭。

requests 库适用于大多数 URL，但有一些特别会引发 SSLE 错误，我认为这是由于来自 web 页面的某种奇怪的重定向

代码

from bs4 import BeautifulSoup
from urllib.parse import urlparse
import requests

url='http://www.estrellaiquique.cl'

HEADERS = {
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36',
    }
session = requests.Session()
result = session.get(url, headers=HEADERS) #<-- error occurs here
domainName = urlparse(url).netloc
doc = BeautifulSoup(result.text, "html.parser")
with open(domainName + '.html', 'w') as f:
       f.write(doc.prettify())

我得到的错误

HTTPSConnectionPool(host='www.estrellaiquique.cl', port=443): Max retries exceeded with url: /impresa/ (Caused by SSLError(SSLError(1, '[SSL: WRONG_SIGNATURE_TYPE] wrong signature type (_ssl.c:997)')))

编辑
应用类似问题的解决方案也不适用于这个特定的 url

from bs4 import BeautifulSoup
from urllib.parse import urlparse
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
import requests

url='http://www.estrellaiquique.cl'

HEADERS = {
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36',
    }
session = requests.Session()
retry = Retry(connect=3, backoff_factor=0.5)
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)
result = session.get(url, headers=HEADERS) #<-- error occurs here
domainName = urlparse(url).netloc
doc = BeautifulSoup(result.text, "html.parser")
with open(domainName + '.html', 'w') as f:
       f.write(doc.prettify())