Python网络抓取，问题

Question

这是我的代码的一小部分：

import requests
from bs4 import BeautifulSoup

def mancity():
    manclist = []
    f = 'mancity.txt'
    fo = open(f, 'w')
    root_url = "http://www.whoscored.com"
    index_url = root_url + "/Teams/167"
    r = requests.get(index_url)
    soup = BeautifulSoup(r.content)
    playstyle = soup.find_all("div",{"class": "character-card singular"})
    for item in playstyle:
        chellist.append(item.text)
    mstr = ''.join(map(str, manclist))
    fo.write(mstr)
    print(mstr)

该代码的想法是抓取网站并将数据提取到文本文件中。 现在，代码可以正常工作了，但是并不一致。 有时它起作用，有时它根本不返回任何值。 我不知道为什么会这样吗？ 是因为我的请求被拒绝了吗？ 这很烦人，因为什么也不返回，文本文​​件被空白覆盖。

请自行运行代码，然后查看输出。 （这是出于教育目的）

Answer 1

使用请求时，可以检查结果对象的status_code属性。 成功的请求应该在200到299之间。 在这种情况下， r.content可以包含对该错误的一些解释。

Answer 2

我写了另一个类似的程序，抓取了一个不同的网站，它可以完美运行。 我想原因是该网站以某种方式拒绝了我的请求。