如何通过几列中的唯一索引在pandas中求和？

Question

我有一个pandas DataFrame，它根据用户会话期间的“点击次数”详细说明了在线活动。 有多达50,000个唯一身份用户，数据框有大约150万个样本。 显然大多数用户都有多条记录。

这四列是唯一的用户ID，用户开始服务的日期“注册”，用户使用服务的日期“会话”，总点击次数。

数据框的组织如下：

User_ID    Registration  Session      clicks
2349876    2012-02-22    2014-04-24   2 
1987293    2011-02-01    2013-05-03   1 
2234214    2012-07-22    2014-01-22   7 
9874452    2010-12-22    2014-08-22   2 
...

（上面还有一个以0开头的索引，但可以将User_ID设置为索引。）

我希望汇总自注册日期以来用户的总点击次数。 数据帧（或pandas Series对象）将列出User_ID和“Total_Number_Clicks”。

User_ID    Total_Clicks
2349876    722 
1987293    341
2234214    220 
9874452    1405 
...

大熊猫如何做到这一点？ 这是由.agg()完成的吗？ 每个User_ID需要单独求和。

由于有150万条记录，这是否有规模？

Answer 1

IIUC你可以使用groupby ， sum和reset_index ：

print df
   User_ID Registration    Session  clicks
0  2349876   2012-02-22 2014-04-24       2
1  1987293   2011-02-01 2013-05-03       1
2  2234214   2012-07-22 2014-01-22       7
3  9874452   2010-12-22 2014-08-22       2

print df.groupby('User_ID')['clicks'].sum().reset_index()
   User_ID  clicks
0  1987293       1
1  2234214       7
2  2349876       2
3  9874452       2

如果第一列User_ID是index ：

print df
        Registration    Session  clicks
User_ID                                
2349876   2012-02-22 2014-04-24       2
1987293   2011-02-01 2013-05-03       1
2234214   2012-07-22 2014-01-22       7
9874452   2010-12-22 2014-08-22       2

print df.groupby(level=0)['clicks'].sum().reset_index()
   User_ID  clicks
0  1987293       1
1  2234214       7
2  2349876       2
3  9874452       2

要么：

print df.groupby(df.index)['clicks'].sum().reset_index()
   User_ID  clicks
0  1987293       1
1  2234214       7
2  2349876       2
3  9874452       2

编辑：

正如亚历山大指出的那样，如果Session日期少于每个User_ID Registration日期，则需要在groupby之前过滤数据：

print df
   User_ID Registration    Session  clicks
0  2349876   2012-02-22 2014-04-24       2
1  1987293   2011-02-01 2013-05-03       1
2  2234214   2012-07-22 2014-01-22       7
3  9874452   2010-12-22 2014-08-22       2

print df[df.Session >= df.Registration].groupby('User_ID')['clicks'].sum().reset_index()
   User_ID  clicks
0  1987293       1
1  2234214       7
2  2349876       2
3  9874452       2

为了更好的样本，我更改了3.行数据：

print df
        Registration    Session  clicks
User_ID                                
2349876   2012-02-22 2014-04-24       2
1987293   2011-02-01 2013-05-03       1
2234214   2012-07-22 2012-01-22       7
9874452   2010-12-22 2014-08-22       2

print df.Session >= df.Registration
User_ID
2349876     True
1987293     True
2234214    False
9874452     True
dtype: bool

print df[df.Session >= df.Registration]
        Registration    Session  clicks
User_ID                                
2349876   2012-02-22 2014-04-24       2
1987293   2011-02-01 2013-05-03       1
9874452   2010-12-22 2014-08-22       2

df1 = df[df.Session >= df.Registration]
print df1.groupby(df1.index)['clicks'].sum().reset_index()
   User_ID  clicks
0  1987293       1
1  2349876       2
2  9874452       2

Answer 2

首先要做的是在注册日期之前过滤注册日期，然后在User_ID和sum上进行分组。

gb = (df[df.Session >= df.Registration]
      .groupby('User_ID')
      .clicks.agg({'Total_Clicks': np.sum}))

>>> gb
         Total_Clicks
User_ID              
1987293             1
2234214             7
2349876             2
9874452             2

对于您提到的用例，我相信这是可扩展的。 当然，这总取决于你的可用内存。

Answer 3

假设您的数据框名称为df，请执行以下操作

df.groupby(['User_ID']).sum()[['User_ID','clicks']]