时间序列：每个 ID 号每天每小时的平均值

Question

我是一个有点初学者的程序员，正在学习 python (+pandas)，希望我能很好地解释这一点。 我有一个超过 300 万行的大型时间序列 pd 数据框，最初有 12 列跨越数年。 这包括从 ID 号（其中 350 个）表示的不同地点取票的人。 每行是一个实例（一张票）。 我搜索了许多问题，例如每天每小时计算记录数和几年内每小时平均数。 但是，我遇到了包含“Id”变量的麻烦。 我正在寻找人们每小时、一周中的每一天（周一至周五）和每个车站的平均价值。
我有以下内容，将日期时间设置为索引：

    Id          Start_date  Count  Day_name_no
    149 2011-12-31 21:30:00      1            5  
    150 2011-12-31 20:51:00      1            0  
    259 2011-12-31 20:48:00      1            1  
    3015 2011-12-31 19:38:00     1            4  
    28 2011-12-31 19:37:00       1            4  

使用groupby和Start_date.index.hour ，我似乎无法包含“Id”。

我的替代方法是将日期分开一小时并具有以下内容：

    Id  Count  Day_name_no  Trip_hour
    149      1            2         5
    150      1            4         10
    153      1            2         15
    1867     1            4         11
    2387     1            2         7

然后我首先得到计数：

Count_Item = TestFreq.groupby([TestFreq['Id'], TestFreq['Day_name_no'], TestFreq['Hour']]).count().reset_index()

     Id Day_name_no Trip_hour   Count
     1  0           7          24
     1  0           8          48
     1  0           9          31
     1  0           10         28
     1  0           11         26
     1  0           12         25

然后使用 groupby 并表示：

Mean_Count = Count_Item.groupby(Count_Item['Id'], Count_Item['Day_name_no'], Count_Item['Hour']).mean().reset_index()

但是，由于平均值不正确，这并没有给出预期的结果。 我希望我已经清楚地解释了这个问题。 我正在寻找每个 ID 每天每小时的平均值，因为我计划在对这些组应用预测模型之前进行聚类以将我的数据集分成组。

任何帮助将不胜感激，如果可能的话，请解释我在代码方面或我的方法上做错了什么。

提前致谢。

我已经编辑了这个，试图让它更清楚一点。 写一个缺乏睡眠的问题可能是不可取的。 我开始的玩具数据集：

    Date        Id     Dow Hour Count
    12/12/2014  1234    0   9   1
    12/12/2014  1234    0   9   1
    12/12/2014  1234    0   9   1
    12/12/2014  1234    0   9   1
    12/12/2014  1234    0   9   1
    19/12/2014  1234    0   9   1
    19/12/2014  1234    0   9   1
    19/12/2014  1234    0   9   1
    26/12/2014  1234    0   10  1
    27/12/2014  1234    1   11  1
    27/12/2014  1234    1   11  1
    27/12/2014  1234    1   11  1
    27/12/2014  1234    1   11  1
    04/01/2015  1234    1   11  1

我现在意识到我必须先使用日期并得到类似的东西：

    Date         Id    Dow Hour Count
    12/12/2014  1234    0   9   5
    19/12/2014  1234    0   9   3
    26/12/2014  1234    0   10  1
    27/12/2014  1234    1   11  4
    04/01/2015  1234    1   11  1

然后计算每个 Id、每个 Dow、每小时的平均值。 并想得到这个：

    Id  Dow Hour    Mean
    1234    0   9   4
    1234    0   10  1
    1234    1   11  2.5

我希望这使它更清楚一点。 我的真实数据集跨越 3 年，包含 300 万行，包含 350 个 ID 号。

Answer 1

你的问题不是很清楚，但我希望这会有所帮助：

df.reset_index(inplace=True)
# helper columns with date, hour and dow
df['date'] = df['Start_date'].dt.date
df['hour'] = df['Start_date'].dt.hour
df['dow'] = df['Start_date'].dt.dayofweek
# sum of counts for all combinations
df = df.groupby(['Id', 'date', 'dow', 'hour']).sum()
# take the mean over all dates
df = df.reset_index().groupby(['Id', 'dow', 'hour']).mean()

Answer 2

您可以使用“Id”列使用 groupby 函数，然后将resample函数与 how=“sum”一起使用。