如何存储用 BeautifulSoup 获取的 HTML 标签列表中的元素，用 pandas 按字母顺序列分隔的 dataframe 中？

Question

我对 Jupiter Notebook、Python、Webscraping 等完全陌生。 我看了看不同的答案，但似乎没有人遇到同样的问题（而且我不擅长采用“类似”的方法，稍微改变一下以便我可以将其用于我的目的）。

我想创建一个包含所有现有 HTML 标签的数据网格。 作为来源，我正在使用 MDN 文档。 它可以找到所有带有 Beautiful Soup 的标签，但我很难用这些数据进一步找到 go。

这是用美丽的汤获取数据的代码

from bs4 import BeautifulSoup
import requests

url = "https://developer.mozilla.org/en-US/docs/Web/HTML/Element"

response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

get_nav_tag = soup.find("nav", class_="sidebar-inner")
get_second_div = nav_tag.find_all("div")[2]
get_ol = get_second_div.find("ol")
get_li = get_second_div.find_all("li", class_="toggle")[3]

tag_list = get_li.find_all("code")

print("There are currently", len(tag_list), "tags.")

for tags in tag_list:
    print(tags.text)

该列表已经排序。

现在我使用 Pandas 创建一个 dataframe

import pandas as pd

tag_data = []
for tag in tag_list:
    tag_data.append({"Tags": tag.text})

df = pd.DataFrame(tag_data)
df

output 看起来像

问题

如何创建一个 dataframe，其中每个字符都有列，并且元素列在每列下？

喜欢：

  A         B      C 
1 <a>      <b>    <caption>
2 <abbr>   <body> <code>
3 <article> ..    ...
4 ...      ...    ...

如何将此列表分隔为与每个元素第一个字母相对应的更多列表？ 我想我也需要它来进行进一步的交互，比如创建图表。 例如，要在条形图中显示，存在多少个以“a”、“b”等开头的标签。

谢谢你！

Answer 1

下面的代码应该可以完成工作。

df['first_letter'] = df.Tags.str[1]
tag_matrix = pd.DataFrame()

for letter in df.first_letter.unique():
    # Create a pandas series whose name matches the first letter of the tag and contains tags starting with the letter
    matching_tags = pd.Series(df[df.first_letter==letter].reset_index(drop=True).Tags, name=letter)
    # Append the series to the tag_matrix
    tag_matrix = pd.concat([tag_matrix, matching_tags], axis=1)    

tag_matrix

这是 output 的示例：

请注意，您可能需要进行一些额外的清理，例如删除重复标签或转换为小写。

Answer 2

您可以使用pivot和concat方法来实现此目的

df["letter"] = df["Tags"].str[1].str.upper()
df = df.pivot(columns="letter", values="Tags")
df = pd.concat([df[c].dropna().reset_index(drop=True) for c in df.columns], axis=1)

这给