查找大熊猫中按星期几分组的标准偏差和时间平均值

Question

这是获取基于星期几的标准偏差和平均时间的最优选方法吗？

如何将平均时间，标准差按目标名称分组，然后按day_of_week分组？

另外，如何将一系列标准偏差和均值转换为正确的时间格式？ 我尝试遍历该系列并成功完成datetime.timedelta（seconds = item），但希望使用更多的熊猫方式进行操作。 感谢您的反馈意见。

我有一个包含日期时间戳记的数据集，如下所示：

Date        Time       TargetUser
10/10/2012  20:20:01   joe
10/11/2012  02:20:01   bob
10/13/2012  21:20:01   smo
10/16/2012  22:20:01   joe

我正在创建一个星期几列，如下所示：

df['my_dates'] = pd.to_datetime(df['Date'])
df['day_of_week'] = df['my_dates'].dt.dayofweek
days = {dict of days of week ie 0:"Mon"}
df['day_of_week'] = df['day_of_week'].apply(lambda x: days[x])

我正在创建列以将一天中的总时间相加并创建一列：

df[['HH', 'MM','SS']] = df['Time'].str.split(':', expand=True)
df['seconds'] = (((df['HH'].astype(int) * 60) + df['MM'].astype(int)) * 60) + df['SS'].astype(int)

然后，我通过以下方式确定一周中某天的平均时间和标准差：

meantime = df['seconds'].groupby([df['day_of_week']]).mean()
std = df['seconds'].groupby([df['day_of_week']]).std(ddof=1)

（不基于以上数据）预期输出：

Name          Day_of_week       Mean        STD
joe           mon               15:01:01    00:08:02
              tue               10:01:01    00:01:06 
bob           mon               11:11:11    00:20:30
smo           thur              07:07:07    00:03:02

Answer 1

通过连接日期和时间，然后使用pandas出色的datetime访问器dt您应该能够大大简化您的工作。

df['DateTime'] = pd.to_datetime(df['Date'] + ' ' + df['Time'])
df['day_of_week'] = df.DateTime.dt.strftime('%a')
df['seconds'] = pd.to_timedelta(df.DateTime.dt.time.astype(str)).dt.seconds

这给你这个

         Date      Time TargetUser            DateTime day_of_week  seconds
0  10/10/2012  20:20:01        joe 2012-10-10 20:20:01         Wed    73201
1  10/11/2012  02:20:01        bob 2012-10-11 02:20:01         Thu     8401
2  10/13/2012  21:20:01        smo 2012-10-13 21:20:01         Sat    76801
3  10/16/2012  22:20:01        joe 2012-10-16 22:20:01         Tue    80401

然后按用户和星期几分组，请执行以下操作，并重命名您的列。

df1 = df.groupby(['TargetUser', 'day_of_week'])\
  .agg({'seconds':{'mean': lambda x: pd.to_timedelta(x.mean(), 's'), 
                   'std': lambda x: pd.to_timedelta(np.std(x, ddof=1))}})

df1最终输出

                        seconds    
                           mean std
TargetUser day_of_week             
bob        Thu         02:20:01 NaT
joe        Tue         22:20:01 NaT
           Wed         20:20:01 NaT
smo        Sat         21:20:01 NaT

要删除较高的列级别并将索引变成列，您可以执行以下操作：

df1.columns = df1.columns.droplevel()
df1.reset_index()