Python 3 urllib HTTP错误412：前提条件失败

Question

我正在尝试解析网站的HTML数据。 我写了这段代码：

import urllib.request

def parse(url):
    response = urllib.request.urlopen(url)
    html = response.read()
    strHTML = html.decode()
    return strHTML

website = "http://www.manarat.ac.bd/"
string = parse(website)

但它显示此错误：

追溯（最近一次通话最近）：文件“ C：\\ Users \\ pupewekate \\ Videos \\ RAW \\ 2.py”，第11行，在
字符串=解析（网站）文件“ C：\\ Users \\ pupewekate \\ Videos \\ RAW \\ 2.py”，第5行，处于解析状态
响应= urllib.request.urlopen（URL）文件``C：\\ Users \\ pupewekate \\ AppData \\ Local \\ Programs \\ Python \\ Python36-32 \\ lib \\ urllib \\ request.py''，在urlopen中的第223行返回opener.open（网址，数据，超时）文件“ C：\\ Users \\ pupewekate \\ AppData \\ Local \\ Programs \\ Python \\ Python36-32 \\ lib \\ urllib \\ request.py”，第532行，在打开的响应中= meth（req，response）File “ C：\\ Users \\ pupewekate \\ AppData \\ Local \\ Programs \\ Python \\ Python36-32 \\ lib \\ urllib \\ request.py”，第642行，位于http_response“ http”，请求，响应，代码，msg，hdrs）文件中C：\\ Users \\ pupewekate \\ AppData \\ Local \\ Programs \\ Python \\ Python36-32 \\ lib \\ urllib \\ request.py“，第570行，错误返回> self._call_chain（* args）文件“ C：\\ Users \\ pupewekate _call_chain结果中的\\ AppData \\ Local \\ Programs \\ Python \\ Python36-32 \\ lib \\ urllib \\ request.py“行504 = func（* args）文件” C：\\ Users \\ pupewekate \\ AppData \\ Local \\ Programs \\ Python \\ Python36-32 \\ lib \\ urllib \\ request.py“，第650行，位于http_error_default中，引发HTTPError（req.full_url，code，msg，hdrs，fp）urllib.error.HTTPError：HTTP错误412：Precondi 失败

有什么办法吗？

Answer 1

该网站检查用户代理标题。 如果无法识别其值，则返回状态码412：

import requests

print(requests.get('http://www.manarat.ac.bd/'))
# <Response [412]>

print(requests.get('http://www.manarat.ac.bd/', headers={'User-Agent': 'Chrome'}))
# <Response [200]>

见这个答案对如何设置用户代理urlib。

Answer 2

您可以使用请求模块，因为它更易于实现，否则，如果确定使用urllib，则可以使用以下模块：

import urllib

def parse(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3;Win64;x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'}
    response = urllib.request.urlopen(url,headers=headers)
    print response

website = "http://www.manarat.ac.bd/"
string = parse(website)