硒花费太多时间加载页面

Question

我正在尝试爬行whoscored，其中包含很多内容，并且需要大量时间才能完全加载。 但是，我想要的东西加载得非常快，但是driver.get（url）一直执行到网页完全加载为止。 有什么办法可以防止这种情况的发生？ 为了使get方法在我定义的某些元素出现在DOM中后立即返回？ 我在想停止的东西在浏览器中起作用。

Answer 1

因此，对于所需的行为，我找到的最佳解决方案是：

profile = webdriver.FirefoxProfile()
profile.set_preference("webdriver.load.strategy", "unstable")
profile.update_preferences()
driver = webdriver.Firefox(firefox_profile=profile)
driver.get(url)
try:
    wait = WebDriverWait(driver, timeout=20, poll_frequency=0.1)
    wait.until(<expectation object>)
finally:
    driver.execute_script("return window.stop")

这将停止浏览器加载页面，并且您仍然可以爬网并与加载的站点进行交互。