如何将html表转换为pandas数据帧

Question

pandas提供了一个有用的DataFrame to_html()来将DataFrame转换为html table 。 是否有任何有用的功能可以将其读回DataFrame ？

Answer 1

在pandas 0.12中发布了read_html实用程序

Answer 2

在一般情况下，这是不可能的，但如果你大致知道你的表的结构，你可以这样：

# Create a test df:
>>> df = DataFrame(np.random.rand(4,5), columns = list('abcde'))
>>> df
     a           b           c           d           e
0    0.675006    0.230464    0.386991    0.422778    0.657711
1    0.250519    0.184570    0.470301    0.811388    0.762004
2    0.363777    0.715686    0.272506    0.124069    0.045023
3    0.657702    0.783069    0.473232    0.592722    0.855030

现在解析html并重构：

from pyquery import PyQuery as pq

d = pq(df.to_html())
columns = d('thead tr').eq(0).text().split()
n_rows = len(d('tbody tr'))
values = np.array(d('tbody tr td').text().split(), dtype=float).reshape(n_rows, len(columns))
>>> DataFrame(values, columns=columns)

     a           b           c           d           e
0    0.675006    0.230464    0.386991    0.422778    0.657711
1    0.250519    0.184570    0.470301    0.811388    0.762004
2    0.363777    0.715686    0.272506    0.124069    0.045023
3    0.657702    0.783069    0.473232    0.592722    0.855030

如果需要，您可以使用eval()为Multiindex dfs或自动类型检测扩展它。