如何单击按钮并使用python-selenium获取新页面的来源？

Question

我希望单击next按钮直到最后，然后抓取页面的所有来源。 我的代码如下：

from selenium import webdriver  
from selenium.common import exceptions  
from selenium.webdriver.common.keys import Keys
import time

browser = webdriver.Firefox()  
browser.get('https://s.taobao.com/search?q=%E5%8F%A3%E7%BD%A9+%E9%9D%A2%E7%BA%B1')  
sources = []
for i in range(100):
    sources.append(browser.page_source)
    browser.find_element_by_css_selector("li.item.next > a.J_Ajax.num.icon-tag").click()
time.sleep(8)
browser.quit()

但是所有来源均来自第一页，当我已经在每页中等待8秒钟并且看到图像已完成加载时。 您能告诉我原因是什么，如何解决？ 谢谢！

Answer 1

我相信页面上显示的搜索结果是AJAX，因此您将无法在HTML源代码中看到它们，因为AJAX是动态的并且仅存储在内存中。

您可以通过在DOM中查找元素来访问数据，例如使用CSS定位器。