使用 Python 抓取看似具有挑战性的 HTML 表格

Question

在寻找难以读取数据的网站时，我在下面找到了一个很好的案例研究。 我已经使用蛮力和不雅的解决方案解决了它。 但是，我确信它们是从这个页面（BoxBg1 元素）解构表格的一种优雅方式。

我可以使用页面的单独 x 路径获取表格的每个元素： https : //www.moneycontrol.com/financials/3mindia/balance-sheetVI/MI42

例如，2018 年 3 月的“储备和盈余”是“/html/body/div[2]/div[3]/div[2]/div[3]/div[2]/div[2]/div[ 2]/div[1]/table[2]/tbody/tr[9]/td[3]'

可以使用代码轻松提取该值：

    from selenium import webdriver


    driver = webdriver.Firefox()
    driver.get('https://www.moneycontrol.com/financials/3mindia/balance-sheetVI/MI42')
    trial_xpath ='/html/body/div[2]/div[3]/div[2]/div[3]/div[2]/div[2]/div[2]/div[1]/table[2]/tbody/tr[9]/td[3]'
    print(driver.find_element_by_xpath(trial_xpath).text)

同样，我已经获得了所有元素。 但是如何使用更大的元素 xpath 或 css_selector 等巧妙地获取表格

表的xpath为： '//*[contains(concat( " ", @class, " " ), concat( " ", "boxBg1", " " ))] | //*[contains(concat( " ", @class, " " ), concat( " ", "hed", " " ))]' '//*[contains(concat( " ", @class, " " ), concat( " ", "boxBg1", " " ))] | //*[contains(concat( " ", @class, " " ), concat( " ", "hed", " " ))]'

如果“粗体”文本不可检索，也没关系，它们是从表格数据本身的其余部分派生的。

我也尝试过使用find_elements_by_xpath('.//tr')循环，如下面的代码中所述。 唉，它不起作用并在 python 控制台中生成一个无效的错误。

    Whole_table_xpath = '//*[contains(concat( " ", @class, " " ), concat( " ", "boxBg1", " " ))] | //*[contains(concat( " ", @class, " " ), concat( " ", "hed", " " ))]'

    Whole_table_element = driver.find_element_by_xpath(Whole_table_xpath)
    for i in Whole_table_element.find_elements_by_xpath('.//tr'):
        print(driver.find_element_by_xpath(i).text)
        print(driver.find_element_by_xpath(i).get_attribute("value"))