[英]Reshaping two-column data using pandas pivot
我正在尝试将具有两列(重复的date_time序列和一列数值)的长文本文件重塑为具有date_time的单个索引和多列数据的Pandas数据框。 实际文件是100组82年的每日降雨量数据(来自随机发电机),大约300万行。 我想针对82 x 365(366年366)date_time索引获取100列降雨数据。 为了简化练习,我在下面提供一个示例(代表a年的四行序列):
2014/01/01 1
2014/01/02 2
2014/01/03 3
2014/01/01 4
2014/01/02 5
2014/01/03 6
2014/01/04 7
2014/01/01 8
2014/01/02 9
2014/01/03 10
所需的输出类似于:
0 1 2
2014/01/01 1 4 8
2014/01/02 2 5 9
2014/01/03 3 6 10
2014/01/04 nan 7 nan
这似乎非常简单,但是却让我败下阵来。 我试图将原始系列转换为数据框,然后使用以下内容,但Pandas似乎不喜欢一列:
df.pivot()
您应该首先创建一个新列,以指示该值必须位于哪一列中。
假设您知道每个序列的开始日期(并且每次都相同),则可以例如执行以下操作:
In [7]: df['set'] = (df['date'] == '2014/01/01').cumsum()
In [8]: df
Out[8]:
date value set
0 2014/01/01 1 1
1 2014/01/02 2 1
2 2014/01/03 3 1
3 2014/01/01 4 2
4 2014/01/02 5 2
5 2014/01/03 6 2
6 2014/01/04 7 2
7 2014/01/01 8 3
8 2014/01/02 9 3
9 2014/01/03 10 3
当您拥有此列时,可以使用pivot
:
In [9]: df.pivot(index='date', columns='set', values='value')
Out[9]:
set 1 2 3
date
2014/01/01 1 4 8
2014/01/02 2 5 9
2014/01/03 3 6 10
2014/01/04 NaN 7 NaN
编辑:感谢DSM,这是找到组的另一种方法(并且您不必知道每个组的第一项):
In [10]: df['date'] = pd.to_datetime(df['date'])
In [11]: df['set'] = (df['date'].diff().fillna(0) <= 0).cumsum()
这是基于以下事实:当新的集合开始时,与上一行的时间差将为负(如果数据按时间排序)。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.