如何用 th 和 td 和 BeautifulSoup 抓取表数据？

Question

我是编程新手，一直在尝试练习 web 报废。 找到一个示例，其中我希望在我的输出中包含的列之一是表 header 的一部分。我能够提取我想要的所有表数据，但无法显示年份日期。

from bs4 import BeautifulSoup # this module helps in web scrapping.
import requests  # this module helps us to download a web page
import pandas as pd
"https://en.wikipedia.org/wiki/World_population"
data = requests.get(url).text
soup = BeautifulSoup(data,"html.parser")
tables = soup.find_all('table')
len(tables)
for index,table in enumerate(tables):
    if ("Global annual population growth" in str(table)):
        table_index = index
print(table_index)

print(tables[table_index].prettify())

population_data = pd.DataFrame(columns=["Year","Population","Growth"])

for row in tables[table_index].tbody.find_all('tr'):
    col = row.find_all('td')
    if (col !=[]):
        Population = col[0].text.strip()
        Growth = col[1].text.strip()
        population_data = population_data.append({"Population":Population,"Growth":Growth}, ignore_index= True)
        
population_data

Answer 1

您可以在此处直接使用pandas来实现您的目标，使用pandas.read_html()来抓取表格， pandas.T来转换它：

import pandas as pd
df = pd.read_html('https://en.wikipedia.org/wiki/World_population')[0].T.reset_index()
df.columns = df.loc[0]
df = df[1:]
df

或与BeautifulSoup和stripped_strings相同的结果：

import requests
import pandas as pd
from bs4 import BeautifulSoup

soup = BeautifulSoup(requests.get('https://en.wikipedia.org/wiki/World_population').text)

pd.DataFrame(
    {list(e.stripped_strings)[0]: list(e.stripped_strings)[1:] for e in soup.table.select('tr')}
)

Output

人口	年	岁月流逝
1个	1804	200,000+
2个	1930年	126
3个	1960	30
4个	1974年	14
5个	1987	13
6个	1999	12
7	2011年	12
8个	2022年	11
9	2037	15
10	2057	20

Answer 2

实际上这是因为你在这一行中抓取了 <td> ：

col = row.find_all('td')

但是，如果您查看开发人员工具 (F12) 中的 <tr>，您会发现该表还包含 <th> 标记，它保留年份并且您没有抓取它。 所以你所要做的就是在If条件之后添加这一行：

year = row.find('th').text ，之后你可以在人口数据中 append