当 url 不改变时，抓取多个页面

Question

我需要浏览（链接）[https://mahabocw.in/safety-kit-benefits-distribution/] 中的所有页面。 但是当我转到下一页时，url 并没有改变。 我尝试使用 selenium，但我被卡住了，因为我不知道如何单击下一页。 任何帮助或建议将不胜感激。

到目前为止，我已经实现了以下代码。

from selenium import webdriver
import time

url = "https://mahabocw.in/safety-kit-benefits-distribution/"
driver = webdriver.Chrome()
driver.get(url)

下面是我需要点击的按钮元素

<button type="button" class="ag-paging-button">Next</button>

提前非常感谢。 [1]： https://mahabocw.in/safety-kit-benefits-distribution/

Answer 1

您需要告诉 selenium 单击下一步按钮。 将此添加到您的代码中，看看它是否有效。

next_button = '/html/body/div/div[6]/div/article/div/div/div/div/div[2]/div/div/div[2]/div/div[4]/span[2]/div[3]/button'
click_next = driver.find_element_by_xpath(next_button)
click_next.submit()

根据页面的不同，您可能必须使用 click_next.click() 而不是 .submit()。 此外，要获得“next_button”，您只需检查页面上的元素，找到所需的项目，然后单击复制为 xpath。