网页抓取 - 使用 BeautifulSoup

Question

我是 beautifulsoup 的新手，在篮球参考中使用它时遇到了问题。 我正在尝试将 Advanced stats 的整个数据帧存储到 Pandas 数据帧中，但我什至无法选择它。 到目前为止，这是我的代码：

from urllib.request import urlopen
from bs4 import BeautifulSoup
import pandas as pd


url='http://www.basketball-reference.com/teams/ATL/2016.html'
html = urlopen(url)
soup = BeautifulSoup(html)

soup.findAll('table',attrs={'id': 'advanced'})

从上面的代码中选择高级后，我看到了我需要的 html，但我实际上无法解析和提取数据。

Answer 1

找到table元素并让read_html()执行解析和数据帧初始化工作：

table = soup.find('table', attrs={'id': 'advanced'})

df = pd.read_html(str(table))
print(df)  # prints a dataframe with 15 rows x 27 columns