使用Python和Selenium進行Web抓取，不知道如何獲取動態數據

Question

我正在嘗試從表中獲取值，但它們不在HTML中。 然而， 他們在HTML，當我在瀏覽器對其進行檢查。 我猜它們是動態生成的，但是如何在Selenium或Python中捕獲它們呢？

Answer 1

你可以這樣

from selenium import webdriver
import pandas as pd
import time

driver = webdriver.Chrome()
driver.get('https://www.predictit.org/Contract/7422/Will-Trump-veto-Russian-sanctions-bill-by-August-31#prices')

time.sleep(2)
tables = pd.read_html(driver.page_source) # returns list of dataframes
print(len(tables))
print(tables[2]) # this is table with YES
print(tables[3]) # this is the table with NO

該代碼僅獲取表，但是您需要進行一些清理。 您可以閱讀pandas.DataFrame的文檔