获取使用 Selenium 滚动后出现的其他 HTML 数据

Question

我在 Python 中使用 Selenium 从网站上抓取数据，该网站加载的数据越多，用户向下滚动的次数就越多。 为了增加我得到的数据，我在访问站点的 HTML 之前向我的 Selenium 代码添加了一个滚动机制。 不幸的是，滚动似乎并没有增加我可以抓取的数据量。 你们知道可能是什么解决方案吗？

到目前为止，这是我的代码：
进口：

 from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By from selenium.webdriver.support.wait import WebDriverWait

加载网站：

 driver = webdriver.Chrome('C:/Users/username/scraping/chromedriver.exe') driver.get('https://opensea.io/collection/kaiju-kingz?search[sortAscending]=false&search[sortBy]=PRICE')

滚动几次：

 for i in range(5): driver.execute_script("window.scrollTo(0, 5000);") time.sleep(5)

访问 HTML 数据：

 testVariable = driver.page_source testVariable = str(testVariable) vanillaData = testVariable.split('window.__INITIAL_STATE__ = {', 1)[0] + 'window.__INITIAL_STATE__ = {'

出于某种原因，所有滚动都不会增加我获得的 HTML 数据，即使我一滚动就可以看到网站开始加载新项目。 滚动后如何访问其他数据点？ 感谢您的所有建议！