熊猫将多索引重新索引到更高频率的日期

Question

我有一个ID表和季度数据日期，我想将其重新索引为每天（工作日）。

表格示例：

我试图找出一种pythonic或pandas的方法来重新索引到较高频率的日期范围，例如每天并向前填充任何NaN。

到目前为止已经尝试过：

df = pd.read_sql('select date, id, type, value from db_table' con=conn, index_col=['date', 'id', 'type'])
dates = pd.bdate_range(start, end)
new_idx = pd.MultiIndex.from_product([dates, df.index.get_level_values(1), df.index.get_level_values(2)]
new_df = df.reindex(new_idx)

#this just hangs
new_df = new_df.groupby(level=1).fillna(method='ffill')

无济于事。 我要么得到一个

Exception: cannot handle a non-unique multi-index!

或者，如果日期在id和类型之间是一致的，那么各个日期将被多次复制（听起来像个bug？）

最终，我只想按日期，ID和类型对表进行分组，并在ID和类型之间具有一致的日期索引。

有没有办法在熊猫中做到这一点？

Answer 1

是的，您可以使用merge

new_idx_frame=new_idx.to_frame()
new_idx_frame.columns=['date', 'id', 'type']
Yourdf=df.reset_index().merge(new_idx_frame,how='right',sort =True).groupby('id').ffill()# here I am using toy data 
Out[408]: 
   id  date  type     value
0   1     1     1       NaN
1   1     1     2       NaN
2   2     1     1  666666.0
3   2     1     2   99999.0
4   1     2     1      -1.0
5   1     2     1      -1.0
6   1     2     2      -1.0
7   2     2     1   99999.0
8   2     2     2   99999.0

---

样本数据

df=pd.DataFrame({'date':[1,1,2,2],'id':[2,2,1,1],'type':[2,1,1,1],'value':[99999,666666,-1,-1]})
df=df.set_index(['date', 'id', 'type'])
new_idx = pd.MultiIndex.from_product([[1,2], [1,2],[1,2]])

Answer 2

Wen-Ben的答案几乎在那里-谢谢您。 唯一缺少的是进行前向填充时按['id'，'type']分组。

此外，在我的用例中创建新的多重指数时，应具有唯一的值：

new_idx = pd.MultiIndex.from_product([dates, df.index.get_level_values(1).unique(), df.index.get_level_values(2).unique()])