python selenium按类查找元素返回整个网站而不是元素

Question

我正在尝试使用硒将来自该网站的表格读取为熊猫数据框。 连结这里

但是，当我尝试打印出数据Dataframe时，它为我提供了网站上的所有内容，例如顶部部分，如website search ， advance search以及底部部分Disclaimer | Hyperlink Policy | Privacy Policy Disclaimer | Hyperlink Policy | Privacy Policy Disclaimer | Hyperlink Policy | Privacy Policy和©2010 Hong Kong Exchanges and Clearing Limited...

不仅仅是桌子。 不知道这里是什么问题。

url = r'https://www.hkex.com.hk/eng/market/sec_tradinfo/stockcode/eisdeqty.htm'


path_to_chrome_driver = r'C:\chromedriver.exe'
driver = webdriver.Chrome(executable_path=path_to_chrome_driver)
driver.get(url)
driver.find_element_by_class_name('table_grey_border').find_element_by_tag_name('tbody')
z = pandas.read_html(driver.page_source, flavor='bs4')

print(z)

注意：我也尝试了以下代码，但结果仍然相同。

driver.find_element_by_class_name('table_grey_border')

Answer 1

由于您没有使用find_element_by_class_name的返回值，因此看不到这些结果，因此需要使用find_element_by_class_name的返回值。

实际上，您使用的是driver.page_source ，它是整个html。

改变这个：

driver.find_element_by_class_name('table_grey_border').find_element_by_tag_name('tbody')
z = pandas.read_html(driver.page_source, flavor='bs4')

对此：

res = driver.find_element_by_class_name('table_grey_border').find_element_by_tag_name('tbody')
print (res)

Answer 2

如果只需要特定元素的HTML代码，则需要使用以下代码：

driver.find_element_by_class_name('table_grey_border').find_element_by_tag_name('tbody').get_attribute('outerHTML')