Python3，Urllib.request，urlopen（）超时

Question

我正在使用urlopen（）打开网站并从中提取（财务）数据。 这是我的台词：

sourceCode = urlopen('xxxxxxxx').read()

之后，我将需要的数据提取出来。 我遍历同一域中的不同页面以提取数据（股票信息）。 我以以下内容结束循环的主体：

time.sleep(1)

有人告诉我，该网站不会阻止我。 我的程序将运行几分钟，但有时会停止并退出提取数据。 我可以重新运行它，它将再运行任意时间，然后停顿。

有什么我可以防止的事情吗？

Answer 1

这对我来说（对大多数网站而言）有效：

如果您使用的是urllib.request库，则可以创建一个Request并欺骗用户代理。 这可能意味着他们不再阻止您。

from urllib.request import Request, urlopen
req = Request(path, headers={'User-Agent': 'Mozilla/5.0})
data = urlopen(req).read()

希望这可以帮助