在 Python 中使用 selenium 从具有多页的表中提取信息

Question

我正在尝试使用 Python 中的 Selenium 从网页中提取一些文章。 但是，我很难做到这一点。

到目前为止，我的代码如下：

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# Open website
os.environ['PATH'] += r"C:\Users\BackUp HDL\AppData\Local\Programs"
driver = webdriver.Chrome()

driver.get("https://watchmedier.dk/latest/filteredsitesFilter=policywatch.dk&sitesFilter=shippingwatch.dk&sitesFilter=mobilitywatch.dk&sitesFilter=energiwatch.dk&sitesFilter=finanswatch.dk&sitesFilter=ejendomswatch.dk&sitesFilter=mediawatch.dk&sitesFilter=agriwatch.dk&sitesFilter=fodevarewatch.dk&sitesFilter=medwatch.dk&sitesFilter=kapwatch.dk&sitesFilter=itwatch.dk&sitesFilter=ctwatch.dk&sitesFilter=watchmedier.dk&sitesFilter=advokatwatch.dk") 
# Accept cookies
WebDriverWait(driver, 20).until(
EC.frame_to_be_available_and_switch_to_it((By.XPATH, "//iframe[@title='SP Consent 
Message']")))
WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, 
"//button[@title='Accepter']"))).click()

我现在想将下表的内容添加到文件中，即创建一个遍历所有页面的循环，并将来自“DATO”、“ARTIKLE”和“SIDE”的信息收集到 dataframe 中。 我尝试按照一些不同的在线指南运行 for 循环，但我总是会遇到不同的错误（无法找到的元素、不可调用的对象等）。

有人可以帮助我，如何继续？

Answer 1

如果您有错误，那么您应该将它们显示为有问题的。

---

首先它需要 go 回到parent_frame() 。 但如果您不接受 cookies，代码也可以工作。

您可以使用带有"&pageNumber=..."的 url 加载页面 - 如果您想使用for -loop 仅加载几个页面，它会很有用。

要加载所有页面，您可以使用onclick="nextPage()"搜索button并单击它。 最终你可以直接运行 JavaScript nextPage()来加载下一页，但是这样你不知道是否有下一页的按钮。

您可以找到表中的所有行，并使用for -loop 分别处理每一行。 您可以使用[1:]跳过带有标题的第一行。

在每一行中，您都可以使用相对 xpath（以点.开头）仅搜索该行中的单元格。

将所有值放在普通列表中，然后将所有值转换为 DataFrame 会更简单。

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# Open website
#os.environ['PATH'] += r"C:\Users\BackUp HDL\AppData\Local\Programs"
#driver = webdriver.Chrome()
driver = webdriver.Firefox()

# --- accept (but it works also without acceptation) --

print('Load main page')

url = "https://watchmedier.dk/"
driver.get(url)

# Accept cookies
WebDriverWait(driver, 20).until(EC.frame_to_be_available_and_switch_to_it((By.XPATH, "//iframe[@title='SP Consent Message']")))
WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//button[@title='Accepter']"))).click()
driver.switch_to.parent_frame()

# --- before loops ---

url = "https://watchmedier.dk/latest/filtered?sitesFilter=policywatch.dk&sitesFilter=shippingwatch.dk&sitesFilter=mobilitywatch.dk&sitesFilter=energiwatch.dk&sitesFilter=finanswatch.dk&sitesFilter=ejendomswatch.dk&sitesFilter=mediawatch.dk&sitesFilter=agriwatch.dk&sitesFilter=fodevarewatch.dk&sitesFilter=medwatch.dk&sitesFilter=kapwatch.dk&sitesFilter=itwatch.dk&sitesFilter=ctwatch.dk&sitesFilter=watchmedier.dk&sitesFilter=advokatwatch.dk&startDate=&endDate="

# load first page - if you use `while`-loop
driver.get(url)

all_results = []

# --- loops ---

page = 1

while True:
#for page in range(1, 4):
    print('--- page:', page, '---')
    
    # load page - if you use `for`-loop
    #driver.get(url + "&pageNumber=" + str(page))
               
    # get all rows in table
    all_rows = driver.find_elements_by_xpath('//table[@class="c-latest-news__table"]//tr')
    
    # process all rows except first with headers
    for number, row in enumerate(all_rows[1:], 1):
        
        #print('row:', number)
        print('.', end='')
        
        # get all columns in row - relative xpath 
        all_cells = row.find_elements_by_xpath('.//td')
        
        date = all_cells[0].text
        
        artikel = all_cells[1].find_element_by_xpath('.//a')
        artikel_text = artikel.text
        artikel_link = artikel.get_attribute('href')
        
        # count `span` and convert to `boolean` (`bool(0)` gives `False`)
        key = bool(len(all_cells[2].find_elements_by_xpath('.//span')))
        
        side = all_cells[3].text
        
        # put row data in list
        all_results.append( [date, artikel_text, artikel_link, key, side] )
        
    print() 
    
    # find button to next page
    try:
        driver.find_element_by_xpath('//button[@onclick]').click()
        page += 1
    except Exception as ex:
        print('Exception:', ex)
        break
    
# --- after loops ---

import pandas as pd

# convert all data to DataFrame
df = pd.DataFrame(all_results, columns=['Dato', 'Artikel text', 'Artikel link', 'Key', 'Side'])

print(df.to_string())