使用 python 从交互式网页中提取表格数据

Question

我想从某个网站获取表格数据以统计数据，但是我在从链接比赛中选择每个部门的交互式按钮上失败了。 如何遍历按钮列表并将每个表存储在列表或生成的 df 中？ 一个解释将不胜感激，这样我就可以了解它是如何工作的。 到目前为止，我只能从第一页中提取文本：

site = "http://live.fis-ski.com/cc-4023/results-pda.htm" 

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

driver = webdriver.Chrome('chromedriver', options= options)
driver.get(site)

try:
    main = WebDriverWait(driver, 10).until(
         EC.presence_of_element_located((By.ID, 'tab1'))   
        )
    print(main.text)
    result = main.text
except:
     driver.quit()

这只给了我每个部门的主页列表。

谢谢！

Answer 1

使用Select您可以 select 下拉列表的值并更改比赛类型。 使用.get_attribute('innerText')您也可以获得隐藏行的值（ .text对它们不起作用）。 使用pandas ，您可以将数据存储在 dataframe 中，最终将其保存到 csv。

from selenium.webdriver.support.ui import Select
import pandas as pd

... import other libraries ...

... start chromedriver and load site ...

dropdown = WebDriverWait(driver, 9).until(EC.element_to_be_clickable((By.ID, 'int1')))
races = dropdown.text.strip().split('\n')
data = dict.fromkeys(races)

for race in races:
    print(race, end='')
    Select(dropdown).select_by_visible_text(race)
    time.sleep(1)
    rows = driver.find_elements(By.XPATH, "//div[@id='resultpoint1']/ul/li")
    print(f': {len(rows)} athletes')
    table = []
    
    for row in rows:
        columns = row.find_elements(By.XPATH, "./div")
        table.append([c.get_attribute('innerText') for c in columns])

    column_names = [c.text for c in driver.find_elements(By.CSS_SELECTOR, '#result1 .tableheader div:not([class*=hidden])')]
    data[race] = pd.DataFrame(table, columns=column_names)
    # data[race].to_csv(race+'.csv', index=False)

Output

Start list: 72 athletes
600 m: 69 athletes
1200 m: 69 athletes
2200 m: 69 athletes
2500 m: 69 athletes
4000 m: 69 athletes
...

每个表都保存在一个dict中，例如data['2500 m']打印如下