如何使用 python 从页面中抓取表格但“不是表格”？

Question

谦虚的问候，欢迎任何愿意在这里度过时光的人。 我将自我介绍为数据科学的一个非常新的学生，也是 python。这个线程旨在从更幸运的头脑中获得洞察力，能够更深入地理解 python 的 realm。

如我们所见，在页面检查中可以很容易地找到每一行本身的值。 但似乎他们都在使用相同的 class 名称。 至于现在，恐怕我什至找不到合适的关键字来搜索谷歌中的任何工作方法。

这些是我试过的代码。 他们不工作和令人尴尬，但我无论如何都必须展示它。 我尝试通过 adding.content、.text、find、find_all 来摆弄，但我知道我的失败在于更深的基本核心。

from bs4 import BeautifulSoup
import requests
from csv import writer
import pandas as pd

url= 'https://m4.mobilelegends.com/stats'
page = requests.get(url)

soup = BeautifulSoup(page.text, 'html.parser')
lists = soup.find('div', class_="m4-team-stats-scroll")

with open('m4stats_team.csv', 'w', encoding='utf8', newline='') as f:
    thewriter = writer(f)
    header = ['Team', 'Win Rate', 'Average KDA', 'Average Kills', 'average Deaths', 'Average Assists', 'Average Game Time', 'Average Lord Kills', 'Average Tortoise Kills', 'Average Towers Destroy', 'First Blood Rate', 'Hero Pool']
    thewriter.writerow(header)

    for list in lists:
        team = list.find_all('p', class_="h3 pl-5 whitespace-nowrap hidden xl:block")
        awr = list.find_all('p', class_="h4")
        akda = list.find('p', class_="h4").text
        akill = list.find('p', class_="h4").text
        adeath = list.find('p', class_="h4").text
        aassist = list.find('p', class_="h4").text
        atime = list.find('p', class_="h4").text
        aalord = list.find('p', class_="h4").text
        atortoise = list.find('p', class_="h4").text
        atower = list.find('p', class_="h4").text
        firstblood = list.find('p', class_="h4").text
        hrpool = list.find('p', class_="h4").text


        info = [team, awr, akda, akill, adeath, aassist, atime, aalord, atortoise, atower, firstblood, hrpool]
        thewriter.writerow(info)

pd.read_csv('m4stats_team.csv').head()

我在期待什么：任何一种洞察力。 无论是线索、关键字、代码片段，我都非常感谢并非常感谢您提供的任何指导。 我不是要求以某种方式获得完整报废的 CSV，因为我可以手动完成。 在这一点上，我希望能够自己进行基本的网络抓取。

Answer 1

您可以遍历表中的行及其项目。

from bs4 import BeautifulSoup
import requests

page = requests.get('https://m4.mobilelegends.com/stats')
page.raise_for_status()

page = BeautifulSoup(page.content)

table = page.find("div", class_="m4-team-stats-scroll")

with open("table.csv", "w") as file:
    for row in table.find_all("div", class_="m4-team-stats"):
        items = row.find_all("div", class_="col-span-1")
        # write into file in csv format, use map to extract text from items
        file.write(",".join(map(lambda item: item.text, items)) + "\n")

显示 output：

import pandas as pd

df = pd.read_csv("table.csv")

print(df)

# Outputs:
"""
      Team ↓Win Rate  ...  ↓First Blood Rate  ↓Hero pool
0     echo     72.0%  ...              48.0%          37
1      rrq     60.9%  ...              60.9%          37
2       tv     60.0%  ...              60.0%          29
3     fcon     55.0%  ...              85.0%          32
4      inc     53.3%  ...              26.7%          31
5     onic     52.9%  ...              47.1%          39
6     blck     52.2%  ...              47.8%          31
7   rrq-br     46.2%  ...              30.8%          32
8      thq     45.5%  ...              63.6%          27
9      s11     42.9%  ...              28.6%          26
10     tdk     37.5%  ...              62.5%          24
11      ot     28.6%  ...              28.6%          21
12     mvg     20.0%  ...              20.0%          15
13  rsg-sg     20.0%  ...              60.0%          17
14    burn      0.0%  ...              20.0%          21
15     mdh      0.0%  ...              40.0%          18

[16 rows x 12 columns]
"""

Answer 2

Python 中有几个库可用于从 web 页面中抓取表格，例如 BeautifulSoup 和 pandas。以下是如何使用 BeautifulSoup 从网页中抓取表格的示例：

import requests
from bs4 import BeautifulSoup 
url = "https://example.com" 
page = requests.get(url) 
soup = BeautifulSoup(page.content, 'html.parser') 
table = soup.find_all('table')[0]

本例中requests.get(url)获取指定URL网页的HTML内容，BeautifulSoup(page.content, 'html.parser')解析HTML内容。 然后使用 find_all() 方法查找页面上的所有表格元素，并将第一个赋值给变量 table。

要抓取非表格元素，您可以使用相同的方法，但您可以搜索任何其他元素，例如 div、span、p 等，而不是搜索表格元素。

import requests 
from bs4 import BeautifulSoup 
url = "https://example.com" 
page = requests.get(url) 
soup = BeautifulSoup(page.content, 'html.parser') 
not_a_table = soup.find_all('div', {'class': 'not-a-table'})[0]

本例中，soup.find_all('div', {'class': 'not-a-table'}) 查找页面上所有带有 class "not-a-table" 的 div 元素，第一个赋值给变量 not_a_table。

请记住，网站可能有隐私政策、服务条款和版权法，禁止未经许可抓取其内容。 如果您无法从此代码中找到帮助，可以按照本指南进行数据科学和数据挖掘过程。