Pandas read_hdf按日期和时间范围查询

Question

我有一个关于如何在pd.read_hdf函数中过滤结果的问题。 所以这里是设置，我有一个pandas数据帧（带有np.datetime64索引），我把它放入hdf5文件。 这里没有任何花哨的东西，所以没有使用层次结构或任何东西（也许我可以合并它？）。 这是一个例子：

                              Foo          Bar
TIME                                         
2014-07-14 12:02:00            0            0
2014-07-14 12:03:00            0            0
2014-07-14 12:04:00            0            0
2014-07-14 12:05:00            0            0
2014-07-14 12:06:00            0            0
2014-07-15 12:02:00            0            0
2014-07-15 12:03:00            0            0
2014-07-15 12:04:00            0            0
2014-07-15 12:05:00            0            0
2014-07-15 12:06:00            0            0
2014-07-16 12:02:00            0            0
2014-07-16 12:03:00            0            0
2014-07-16 12:04:00            0            0
2014-07-16 12:05:00            0            0
2014-07-16 12:06:00            0            0

现在我使用以下命令将其存储到.h5中：

store = pd.HDFStore('qux.h5')
#generate df
store.append('data', df)
store.close()

接下来，我将有另一个访问此数据的进程，我想获取此数据的日期/时间片。 因此，假设我想要在2014-07-14和2014-07-15之间的日期，并且仅在12:02:00和12:04:00之间的时间。 目前我使用以下命令来检索此：

pd.read_hdf('qux.h5', 'data', where='index >= 20140714 and index <= 20140715').between_time(start_time=datetime.time(12,2), end_time=datetime.time(12,4))

据我所知，如果我在这里错了，请有人纠正我，但如果我使用'where'，整个原始数据集都不会被读入内存。 换句话说：

这个：

pd.read_hdf('qux.h5', 'data', where='index >= 20140714 and index <= 20140715')

与此不一样：

pd.read_hdf('qux.h5', 'data')['20140714':'20140715']

虽然最终结果完全相同，但后台所做的却不是。 所以我的问题是，有没有办法将时间范围过滤器（即.between_time（））合并到我的where语句中？ 或者，如果还有另一种方法我应该构建我的hdf5文件？ 也许每天都存一张桌子？

谢谢！

编辑：

关于使用层次结构，我知道结构应该高度依赖于我将如何使用数据。 但是，如果我们假设我每个日期定义一个表（例如'df / date_20140714'，'df / date_20140715'，......）。 我可能会在这里弄错，但是使用我查询日期/时间范围的例子; 我可能会受到性能损失，因为我需要读取每个表并且如果我想要合并输出那么必须合并它们吗？

Answer 1

请参阅使用where mask选择的示例

这是一个例子

In [50]: pd.set_option('max_rows',10)

In [51]: df = DataFrame(np.random.randn(1000,2),index=date_range('20130101',periods=1000,freq='H'))

In [52]: df
Out[52]: 
                            0         1
2013-01-01 00:00:00 -0.467844  1.038375
2013-01-01 01:00:00  0.057419  0.914379
2013-01-01 02:00:00 -1.378131  0.187081
2013-01-01 03:00:00  0.398765 -0.122692
2013-01-01 04:00:00  0.847332  0.967856
...                       ...       ...
2013-02-11 11:00:00  0.554420  0.777484
2013-02-11 12:00:00 -0.558041  1.833465
2013-02-11 13:00:00 -0.786312  0.501893
2013-02-11 14:00:00 -0.280538  0.680498
2013-02-11 15:00:00  1.533521 -1.992070

[1000 rows x 2 columns]

In [53]: store = pd.HDFStore('test.h5',mode='w')

In [54]: store.append('df',df)

In [55]: c = store.select_column('df','index')

In [56]: where = pd.DatetimeIndex(c).indexer_between_time('12:30','4:00')

In [57]: store.select('df',where=where)
Out[57]: 
                            0         1
2013-01-01 00:00:00 -0.467844  1.038375
2013-01-01 01:00:00  0.057419  0.914379
2013-01-01 02:00:00 -1.378131  0.187081
2013-01-01 03:00:00  0.398765 -0.122692
2013-01-01 04:00:00  0.847332  0.967856
...                       ...       ...
2013-02-11 03:00:00  0.902023  1.416775
2013-02-11 04:00:00 -1.455099 -0.766558
2013-02-11 13:00:00 -0.786312  0.501893
2013-02-11 14:00:00 -0.280538  0.680498
2013-02-11 15:00:00  1.533521 -1.992070

[664 rows x 2 columns]

In [58]: store.close()

几点要注意。 这将读入整个索引以开始。 通常这不是负担。 如果它是你可以只是块读取它（提供启动/停止，虽然它有点手动来做这​​个ATM）。 当前的select_column我不相信也可以接受查询。

如果你有大量的数据（数千万行，这是宽的），你可能会在几天内迭代（并进行单独的查询），这可能更有效。

重建数据相对便宜（通过concat ），所以不要害怕进行子查询（尽管这样做太多也可以拖动perf）。