[英]Merging multiple pandas datasets with non-unique index
我在字典中存储了几个结构相似的熊猫数据框。 我通过以下方式访问数据框。
ex_dict[df1]
date df1price1 df1price2
10-20-2015 100 150
10-21-2015 90 100
我想按日期将所有这些数据框合并为一个数据框。 日期是重叠的,但并非所有数据框都包含所有日期。
我需要从这里走
df1
date df1price1 df1price2
10-20-2015 100 150
10-21-2015 90 100
10-22-2015 100 140
df2
date df2price1 df2price2
10-20-2015 110 140
10-21-2015 90 110
10-23-2015 110 120
df3
date df3price1 df3price2
10-20-2015 100 150
10-22-2015 90 100
10-23-2015 80 130
对此:
df_all
date df1price1 df1price2 ... df3price1 df3price2
10-20-2015 100 150 ... 100 150
10-21-2015 90 100 ... NaN NaN
10-22-2015 100 140 ... 90 100
10-23-2015 NaN NaN ... 80 130
我已经尝试了很多方法,但是我无法使它正常工作,因为一次不能重复合并2以创建一个新的数据框,然后再将其合并。 我需要合并的数据帧数在4到10之间变化,因此我需要一种自动执行此操作的方法(因此,我认为通过dict可能会起作用)。
在这方面的任何帮助将非常感谢。
您可以使用concat
和groupby('date')
来使结果变平。
In [22]: pd.concat([df1,df2,df3]).groupby('date').max()
Out[22]:
df1price1 df1price2 df2price1 df2price2 df3price1 df3price2
date
10-20-2015 100 150 110 140 100 150
10-21-2015 90 100 90 110 NaN NaN
10-22-2015 100 140 NaN NaN 90 100
10-23-2015 NaN NaN 110 120 80 130
编辑:正如BrenBarn在注释中指出的,如果将联接列设置为数据帧的索引,则可以使用concat(axis=1)
:
df1.index = df1.date
df2.index = df2.date
df3.index = df3.date
In [44]: pd.concat([df1,df2,df3],axis=1)
Out[44]:
date df1price1 df1price2 date df2price1 \
10-20-2015 10-20-2015 100 150 10-20-2015 110
10-21-2015 10-21-2015 90 100 10-21-2015 90
10-22-2015 10-22-2015 100 140 NaN NaN
10-23-2015 NaN NaN NaN 10-23-2015 110
df2price2 date df3price1 df3price2
10-20-2015 140 10-20-2015 100 150
10-21-2015 110 NaN NaN NaN
10-22-2015 NaN 10-22-2015 90 100
10-23-2015 120 10-23-2015 80 130
您可以在date
列上使用多个合并:
df1.merge(df2, on='date', how='outer').merge(df3, on='date', how='outer').set_index('date')
In [107]: df1.merge(df2, on='date', how='outer').merge(df3, on='date', how='outer').set_index('date')
Out[107]:
df1price1 df1price2 df2price1 df2price2 df3price1 df3price2
date
10-20-2015 100 150 110 140 100 150
10-21-2015 90 100 90 110 NaN NaN
10-22-2015 100 140 NaN NaN 90 100
10-23-2015 NaN NaN 110 120 80 130
一些解释:首先,你合并df1
和df2
在列date
与加盟outer
。 您与具有相同属性的df3
合并的结果数据df3
。 最后为您的结果date
框架设置索引date
。 如果您的数据reset_index
具有date
列作为索引,则可以首先对其进行reset_index
,然后合并包含date
的列名称
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.