解析学校网站时出现TimeoutError：[WinError 10060]

Question

# -*- coding: UTF-8 -*-

import urllib.request
import re
import os

os.system("cls")

url=input("Url Link : ")

if(url[0:8]=="https://"):
   url=url[:4]+url[5:]

if(url[0:7]!="http://"):
    url="http://"+url

value=urllib.request.urlopen(url).read().decode('UTF8')
par='<title>(.+?)</title>'

result=re.findall(par,value) 
print(result)

这是标题解析程序。 在像Google，Gmail网站这样的解析时效果很好。 尝试解析我的学校网站时出现错误。 在学校有问题吗？ 还是在我的代码中？

Answer 1

您可以增加超时

码：

value=urllib.request.urlopen(url,timeout=60).read().decode('UTF8')

Answer 2

使用Python请求（ http://docs.python-requests.org/en/latest/ ），我可以下载http://jakjeon.icems.kr/main.do且没有错误，尽管由于无法为Windows安装朝鲜语代码页（949）。

这是脚本：

import requests

url='http://jakjeon.icems.kr/main.do'
r = requests.get(url)
print(r.status_code)
print(r.headers['content-type'])
print(r.encoding)
print(r.text)

运行它打印：

200  # r.status_code
text/html; charset=UTF-8 # r.headers['content-type']
UTF-8 # r.encoding

后跟页面的所有文本（r.text）

仅在将其代码页设置为65001（Unicode（UTF-8）后，才成功打印到Windows cmd.exe控制台，请参阅https://msdn.microsoft.com/zh-cn/library/windows/desktop/dd317756%28v = vs.85％29.aspx ）。

尝试将输出重定向到文件会导致UnicodeEncodeError，因为我平台上文件的默认Windows编码是代码页1252（ANSI拉丁语1；西欧语（Windows））。 这是尝试打印到文件的错误消息：

Traceback (most recent call last):
  File "URLDownloadDemo.py", line 12, in <module>
    print(r.text)
  File "C:\Anaconda3\lib\encodings\cp1252.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 600-601: character maps to <undefined>

然后，可以在https://goo.gl/Cyav17上获得完整的cmd.exe控制台脚本，而在https://goo.gl/W4Sk9S上可以找到脚本的副本。

由于将输出重定向到文件时出现编码错误，我增强了脚本以使用UTF-8编码将其输出直接写到文件中。 这是新的脚本：

import requests

url='http://jakjeon.icems.kr/main.do'
r = requests.get(url)
print(r.status_code)
print(r.headers['content-type'])
print(r.encoding)
fout = open('URLDownloadDemo.output.txt', mode='wt', encoding='UTF-8')
fout.write(r.text)
fout.close()

运行此命令可以很好地工作（没有错误），并且输出文件中包含的韩文字母符号与网页源中的字母符号相同。

新脚本位于https://goo.gl/VJs2Na ，其输出文件位于https://goo.gl/4BKe8C 。