这个网络抓取脚本有错误吗？

Question

这个脚本有什么错误？

from bs4 import BeautifulSoup
import requests

years = [2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009, 
2010, 2011, 2012, 2013, 2014, 2015, 2016, 2017, 2018, 2019, 2020, 2021, 2022]

web = 'https://www.uefa.com/uefaeuropaleague/history/seasons/2022/matches/'
response = requests.get(web)
content = response.text
soup = BeautifulSoup(content, 'lxml')

matches = soup.find_all('div', class_='pk-match-unit size-m')

for match in matches:
    print(match.find('div', class_='pk-match__base--team-home size-m').get_text())
    print(match.find('div', class_='pk-match__score size-m').get_text())
    print(match.find('div', class_='pk-match__base--team-away size-m').get_text())

我找不到错误，打印的目的是获取上一届欧罗巴联赛的比赛数据。 我附上一张html的图片以供参考，因为我看不出错误在哪里。 请记住，我只在 2021 年这样做。

我努力争取从小组赛到决赛的成绩。

Answer 1

总是首先，看看你的汤，看看是否有所有预期的成分。

---

这里的问题是数据是从 api 加载的，所以如果它不是响应requests ，您将无法使用BeautifulSoup获取它 - 查看 xhr 选项卡上的浏览器开发工具并使用此 api 调用从 JSON 获取结果.

例子

检查整个 JSON 选择适合您需要的信息

import requests

json_data = requests.get('https://match.uefa.com/v5/matches?competitionId=14&seasonYear=2022&phase=TOURNAMENT&order=DESC&offset=0&limit=20').json()

for m in json_data:
    print(m['awayTeam']['internationalName'],  f"{m['score']['total']['away']}:{m['score']['total']['home']}", m['homeTeam']['internationalName'])

Output

Rangers 1:1 Frankfurt
West Ham 0:1 Frankfurt
Leipzig 1:3 Rangers
Frankfurt 2:1 West Ham
Rangers 0:1 Leipzig
Braga 1:3 Rangers
West Ham 3:0 Lyon
Frankfurt 3:2 Barcelona
Leipzig 2:0 Atalanta
Rangers 0:1 Braga
...