[英]Pandas dataframe, how can I group by multiple columns and apply sum for specific column and add new count column?
[英]Pandas dataframe: how to apply describe() to each group and add to new columns?
df:
name score
A 1
A 2
A 3
A 4
A 5
B 2
B 4
B 6
B 8
想要以下面的形式获得以下新数据框:
name count mean std min 25% 50% 75% max
A 5 3 .. .. .. .. .. ..
B 4 5 .. .. .. .. .. ..
如何从 df.describe() 中提取信息并重新格式化? 谢谢
还有一个更短的:)
print df.groupby('name').describe().unstack(1)
没有什么能比得上单线:
在 [145] 中:
打印 df.groupby('name').describe().reset_index().pivot(index='name', values='score', columns='level_1')
In[1]:
import pandas as pd
import io
data = """
name score
A 1
A 2
A 3
A 4
A 5
B 2
B 4
B 6
B 8
"""
df = pd.read_csv(io.StringIO(data), delimiter='\s+')
print(df)
.
Out[1]:
name score
0 A 1
1 A 2
2 A 3
3 A 4
4 A 5
5 B 2
6 B 4
7 B 6
8 B 8
这个问题的一个很好的方法是使用一个生成器表达式(见脚注)来允许pd.DataFrame()
迭代groupby
的结果,并动态构建汇总统计数据帧:
In[2]:
df2 = pd.DataFrame(group.describe().rename(columns={'score':name}).squeeze()
for name, group in df.groupby('name'))
print(df2)
.
Out[2]:
count mean std min 25% 50% 75% max
A 5 3 1.581139 1 2.0 3 4.0 5
B 4 5 2.581989 2 3.5 5 6.5 8
在这里, squeeze
函数是挤出一个维度,将一列组汇总统计数据Dataframe
转换为Series
。
脚注:生成器表达式的形式为my_function(a) for a in iterator
,或者如果iterator
返回tuples
,如groupby
的情况: my_function(a,b) for a,b in iterator
没有什么能比得上单线:
In [145]:
print df.groupby('name').describe().reset_index().pivot(index='name', values='score', columns='level_1')
level_1 25% 50% 75% count max mean min std
name
A 2.0 3 4.0 5 5 3 1 1.581139
B 3.5 5 6.5 4 8 5 2 2.581989
表存储在名为df
数据帧中
df= pd.read_csv(io.StringIO(data),delimiter='\s+')
只需指定列名并describe
提供所需的输出。 通过这种方式,您可以计算任何列
df.groupby('name')['score'].describe()
import pandas as pd
import io
import numpy as np
data = """
name score
A 1
A 2
A 3
A 4
A 5
B 2
B 4
B 6
B 8
"""
df = pd.read_csv(io.StringIO(data), delimiter='\s+')
df2 = df.groupby('name').describe().reset_index().T.drop('name')
arr = np.array(df2).reshape((4,8))
df2 = pd.DataFrame(arr[1:], index=['name','A','B'])
print(df2)
这会给你 df2 为:
0 1 2 3 4 5 6 7
name count mean std min 25% 50% 75% max
A 5 3 1.58114 1 2 3 4 5
B 4 5 2.58199 2 3.5 5 6.5 8
好吧,我设法得到了你想要的东西,但它的伸缩性不是很好。
import pandas as pd
name = ['a','a','a','a','a','b','b','b','b','b']
score = [1,2,3,4,5,2,4,6,8]
d = pd.DataFrame(zip(name,score), columns=['Name','Score'])
d = d.groupby('Name').describe()
d = d.reset_index()
df2 = pd.DataFrame(zip(d.level_1[8:], list(d.Score)[:8], list(d.Score)[8:]), columns = ['Name','A','B']).T
print df2
0 1 2 3 4 5 6 7
Name count mean std min 25% 50% 75% max
A 5 3 1.581139 1 2 3 4 5
B 4 5 2.581989 2 3.5 5 6.5 8
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.