如何加载整个网站以供 selenium 收集数据并保持加载所有内容？

Question

我正在尝试使用 python 中的selenium chrome 驱动程序从这里的网站上抓取术语和定义： https : //quizlet.com/433328443/ap-us-history-flash-cards/ 。 有 533 个术语……事实上，如果您想查看所有术语，quizlet 会让您单击“ See more按钮。 以下代码成功提取了术语和定义（我已经在其他使用较少术语的 quizlet 网站上对其进行了测试）。 还有用于处理弹出窗口和See more按钮的if()语句。 同样，我的目标是获取页面上每个术语-定义对的术语和定义； 但是，要做到这一点，需要加载整个页面，这是我问题的基础。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Chrome(executable_path = chrome_driver_path)
driver.get("https://quizlet.com/433328443/ap-us-history-flash-cards/")

# INCASE OF POPUP, CLICK AWAY
if len(driver.find_elements_by_xpath("//button[@class='UILink UILink--revert']")) > 0:
    popup = driver.find_element_by_xpath("//button[@class='UILink UILink--revert']")
    popup.click()
    del popup

# SCROLL TO BOTTOM TO LOAD IN ALL TERMS, AND THEN BACK TO THE TOP
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
# INCASE OF "SEE MORE" BUTTON AT BOTTOM, CLICK IT
if len(driver.find_elements_by_xpath("//button[@class='UIButton UIButton--fill' and @aria-label='See more']")) > 0:
    see_more = driver.find_element_by_xpath("//button[@class='UIButton UIButton--fill' and @aria-label='See more']")
    see_more.click()
    del see_more
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

# list of terms
quizlet_terms = tuple(map(lambda a: a.text,
                          driver.find_elements_by_class_name("SetPageTerm-wordText")))
            
                
# list of definitions
quizlet_definitions = tuple(map(lambda a: a.text, 
                                driver.find_elements_by_class_name("SetPageTerm-definitionText")))

在我的代码中，我尝试了向下滚动的技巧来加载所有内容，但这不起作用。 这是因为当我向下滚动时，在加载浏览器窗口中的术语时，会卸载浏览器窗口上方和下方的术语。 显然，这是出于内存原因，但我不关心内存，我只想一次加载所有术语，以便我可以访问它们的内容。 我的代码适用于较小的 quizlet 网站（比如 100 个术语），但它在这个网站上中断，产生以下错误：

selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document

此 stackoverflow 页面解释了错误消息： Python with Selenium "element is not attach to the page document" 。

通过阅读上述页面，我得出的结论是，由于网站太大，当我向下滚动 quizlet 页面时，我当前在浏览器窗口中查看的术语已加载，但我已滚动过去的术语和不再在我看来以某种我无法正确访问的时髦方式卸载和存储，从而生成错误消息。

如何让整个页面保持加载状态，以便我可以访问所有 533 个术语的内容？ 理想情况下，我想要一个解决方案，让我滚动过去的所有内容都完全加载，并且不卸载任何内容。 另一个想法是从一开始就加载整个页面。 如果有一些节省内存的解决方案也很好，也许只需访问原始html代码，而没有花哨的图形或任何东西。 有没有人遇到过这个问题，如果有，你是如何解决的？ 谢谢，任何帮助表示赞赏。