[英]How to go to next page until the last page in Python Selenium when scraping website?
[英]How to go on last page from number of pages using selenium python?
這是我的 UI 和 HTML DOM 的屏幕截圖。
我想翻到最后一頁,我可以做的就是多次按下下一步按鈕,但我不知道應該按下多少次,所以我認為這不是更好的方法。 你能建議我使用 selenium 命令更好的方法嗎?
我使用了這個命令(連續按下一步):
driver.find_element_by_xpath('html/body/div[2]/div/section[8]/div/div/div[3]/div/div[2]/table/tfoot/tr/td/div/ul/li[5]/a').click()
您可以使用try/except
例如:
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
while True:
try:
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//li[not(@class="disabled")]/a[contains(text(), "Next")]'))).click()
except TimeoutException:
break
這應該允許您單擊“ Next
按鈕直到最后一頁(直到按鈕被禁用)
PS 你不應該使用絕對XPath
,例如html/body/div[2] ... /div/ul/li[5]/a
因為它對DOM
變化很敏感。 使用目標元素的屬性或其父/子節點來創建相對XPath
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.