Python dataframe - 重新采样时间戳，按小时分组，但保留开始和结束日期时间

Question

我有一个包含时间戳和值的 DataFrame。

    list = ['2020-04-22 13:29:00+00:00','2020-04-22 13:31:00+00:00','2020-04-22 13:32:00+00:00','2020-04-22 13:33:00+00:00','2020-04-22 13:34:00+00:00','2020-04-22 13:35:00+00:00','2020-04-22 13:36:00+00:00','2020-04-22 13:54:00+00:00','2020-04-22 13:55:00+00:00','2020-04-22 13:56:00+00:00','2020-04-22 13:57:00+00:00','2020-04-22 13:58:00+00:00','2020-04-22 13:59:00+00:00','2020-04-22 14:00:00+00:00','2020-04-22 14:01:00+00:00','2020-04-22 14:02:00+00:00','2020-04-22 14:03:00+00:00','2020-04-22 14:04:00+00:00','2020-04-22 14:05:00+00:00','2020-04-22 14:06:00+00:00','2020-04-22 14:49:00+00:00','2020-04-22 14:50:00+00:00','2020-04-22 14:51:00+00:00','2020-04-22 14:52:00+00:00','2020-04-22 14:53:00+00:00','2020-04-22 14:54:00+00:00','2020-04-22 14:55:00+00:00','2020-04-22 14:56:00+00:00','2020-04-22 14:57:00+00:00','2020-04-22 14:58:00+00:00','2020-04-22 14:59:00+00:00','2020-04-22 15:00:00+00:00','2020-04-22 15:01:00+00:00','2020-04-22 15:02:00+00:00','2020-04-22 15:24:00+00:00','2020-04-22 15:25:00+00:00','2020-04-22 15:26:00+00:00','2020-04-22 15:27:00+00:00','2020-04-22 15:28:00+00:00','2020-04-22 15:29:00+00:00','2020-04-22 15:36:00+00:00']
df = pd.DataFrame(list)
df.columns = ['timestamp']
df['rand']=np.random.randint(0, 100, df.shape[0])
df.timestamp = pd.to_datetime(df.timestamp)
df.set_index('timestamp', inplace=True)

我想按数据重新采样：按小时对时间戳进行分组并对值求和。

可以通过 Pandas function 重采样轻松完成：

agg_dict = {'rand': 'sum'}
dfr = df.resample('1H').agg(agg_dict)

问题是这种方法丢失了原始的开始和结束时间。

如果我的第一个小时从 13:29 开始，则第一个聚合小时将显示为 13:00 到 14:00。 这是“错误的”，因为在 13:00 到 13:28 之间没有记录

是否有现有的 function 按小时分组但尊重开始和结束时间，如果可能，显示间隔的开始和结束时间？

显示开始和结束时间可以避免混淆上次聚合。

如果我的最后一小时在 15:36 结束，则聚合小时将显示为 15:00，如果未指定结束时间，则可以假定它表示 15:00 到 15:59，这是“错误的”，因为15:36 以后没有数据。

在自己编写代码之前，我想与社区一起看看是否存在开箱即用的东西。 我尝试了 Pandas Resampling 的选项，但没有找到类似的 function。

谢谢你的帮助

Answer 1

您可以在每个小时间隔内聚合时间戳：

agg_dict = {
    "from": ("ts", "min"),
    "to": ("ts", "max"),
    "sum": ("rand", "sum"),
}
df.assign(ts=df.index).resample("1H").agg(**agg_dict)

这使用命名聚合。 这意味着采用ts列，应用min并from调用聚合 output 等。

Answer 2

也许您正在寻找：

agg_dict = {'rand': 'sum', 'timestamp': ['min', 'max']}
out = df.reset_index().resample('H', on='timestamp').agg(agg_dict)
print(out)

# Output
                          rand                 timestamp                          
                           sum                       min                       max
timestamp                                                                         
2020-04-22 13:00:00+00:00  440 2020-04-22 13:29:00+00:00 2020-04-22 13:59:00+00:00
2020-04-22 14:00:00+00:00  982 2020-04-22 14:00:00+00:00 2020-04-22 14:59:00+00:00
2020-04-22 15:00:00+00:00  502 2020-04-22 15:00:00+00:00 2020-04-22 15:36:00+00:00