抓取 FIBA 统计框分数

Question

我在 python 只是一个初学者，我想要一个我最喜欢的当地篮球队的数据集，这就是为什么我搜索一个代码抓取 fiba 统计框得分，我在 stackoverflow 上找到了一个，我试图编辑标题但是它只是生成一个空的 csv 文件，想知道是否有人可以帮助我编辑下面的代码并抓取每个团队的 box 分数

import requests
from bs4 import BeautifulSoup
import pandas

stats_basic = ['NO.', 'PLAYER', 'POS', 'MINS', 'PTS', 'FG', 'FG%', '2P', '2P%', '3P', '3P%', 'FT', 'FT%', 'OFF', 'DEF', 'REB', 'AST', 'TO', 'STL', 'BLK', 'BLKR', 'PF', 'FLS ON', '+/-']
#stats_adv = ['TS%', 'eFG%', '3PAr', 'FTr', 'ORB%', 'DRB%', 'TRB%', 'AST%', 'STL%', 'BLK%', 'TOV%', 'USG%', #'ORtg', 'DRtg', 'BPM']

url_boxscore = "https://fibalivestats.dcd.shared.geniussports.com/u/PBA/2145647/bs.html"
stats1 = []

r = requests.get(url_boxscore)
c = r.content
soup = BeautifulSoup(c, "html.parser")
box_scores_content = soup.find_all("div",{"id":"content"})

d = {}
for item in box_scores_content:
    for stat in stats_basic:
        d[stat] = (item.find_all("td",{"data-stat":"fg"})[11].text)
    stats1.append(d)

df=pandas.DataFrame(stats1)
df.to_csv("ginebra.csv")

Answer 1

我能够重现你的问题，我不会给你完整的答案，因为我真的希望你自己弄清楚，因为你是初学者，但我会为你指明正确的方向。

当我调试时，我打印了变量box_scores_content并发现它是空的，然后我向前看了BeautifulSoup文档中的find_all()和find()方法，发现了非常酷的东西，你可以在这个链接中自己挖掘: https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 。

您的问题是您没有以正确的方式为您的海豚使用find_all()并且您也没有废弃正确的属性。 使用 web 工具或Right click然后在页面上inspect我使用CTRL+SHIFT+C我单击主表并查看它在您给我们的 HTML 页面中是如何定义的，然后我看到我需要使用find_all("table")并使用另一个过滤器来提取您想要的数据。

当 web 报废时，了解如何使用 webtools 并阅读您使用的库的文档非常重要，这样您才能以正确的方式使用它们。

我相信你会从这里弄明白:)

Answer 2

数据是从外部源呈现的，所以你不会在你的响应中得到它， BeautifulSoup找不到它。

查看您的浏览器开发工具并检查 xhr 选项卡 - 您可以从 JSON 中提取数据并提取所需的信息。

例子

一线队成绩：

import requests
import pandas as pd

pd.DataFrame(
    requests.get('https://fibalivestats.dcd.shared.geniussports.com/data/2145647/data.json').json()['tm']['1']['pl'].values()
)