Pandas：使用 groupby 重新采样时间序列

Question

鉴于以下熊猫数据帧：

In [115]: times = pd.to_datetime(pd.Series(['2014-08-25 21:00:00','2014-08-25 21:04:00',
                                            '2014-08-25 22:07:00','2014-08-25 22:09:00']))
          locations = ['HK', 'LDN', 'LDN', 'LDN']
          event = ['foo', 'bar', 'baz', 'qux']
          df = pd.DataFrame({'Location': locations,
                             'Event': event}, index=times)
          df
Out[115]:
                               Event Location
          2014-08-25 21:00:00  foo   HK
          2014-08-25 21:04:00  bar   LDN
          2014-08-25 22:07:00  baz   LDN
          2014-08-25 22:09:00  qux   LDN

我想重新采样数据以按计数每小时聚合一次，同时按位置分组以生成如下所示的数据框：

Out[115]:
                               HK    LDN
          2014-08-25 21:00:00  1     1
          2014-08-25 22:00:00  0     2

我尝试了 resample() 和 groupby() 的各种组合，但没有运气。 我该怎么办？

Answer 1

在我原来的帖子中，我建议使用pd.TimeGrouper 。 现在，使用pd.Grouper而不是pd.TimeGrouper 。 语法基本相同，但TimeGrouper现在已被弃用，取而代之的是pd.Grouper 。

此外，虽然pd.TimeGrouper只能通过DatetimeIndex，组pd.Grouper罐组，通过它可以通过指定datetime列key参数。

---

您可以使用 pd.Grouper 按小时对 DatetimeIndex 的pd.Grouper进行分组：

grouper = df.groupby([pd.Grouper(freq='1H'), 'Location'])

使用count来统计每组中的事件数：

grouper['Event'].count()
#                      Location
# 2014-08-25 21:00:00  HK          1
#                      LDN         1
# 2014-08-25 22:00:00  LDN         2
# Name: Event, dtype: int64

使用unstack将Location索引级别移动到列级别：

grouper['Event'].count().unstack()
# Out[49]: 
# Location             HK  LDN
# 2014-08-25 21:00:00   1    1
# 2014-08-25 22:00:00 NaN    2

然后使用fillna将 NaN 更改为零。

---

把这一切放在一起，

grouper = df.groupby([pd.Grouper(freq='1H'), 'Location'])
result = grouper['Event'].count().unstack('Location').fillna(0)

产量

Location             HK  LDN
2014-08-25 21:00:00   1    1
2014-08-25 22:00:00   0    2

Answer 2

Pandas 0.21 答案： TimeGrouper 已被弃用

执行此操作有两种选择。 他们实际上可以根据您的数据给出不同的结果。 第一个选项按位置分组，在位置组内按小时分组。 第二个选项同时按位置和小时分组。

选项 1 ：使用groupby + resample

grouped = df.groupby('Location').resample('H')['Event'].count()

选项 2 ：将位置和日期时间groupby(pd.Grouper)与groupby(pd.Grouper)组合在一起

grouped = df.groupby(['Location', pd.Grouper(freq='H')])['Event'].count()

它们都将导致以下结果：

Location                     
HK        2014-08-25 21:00:00    1
LDN       2014-08-25 21:00:00    1
          2014-08-25 22:00:00    2
Name: Event, dtype: int64

然后重塑：

grouped.unstack('Location', fill_value=0)

会输出

Location             HK  LDN
2014-08-25 21:00:00   1    1
2014-08-25 22:00:00   0    2

Answer 3

多列分组依据

untubu 对他的回答很到位，但我想补充一下，如果你有第三列，比如Cost并想像上面那样聚合它，你可以做什么。 正是通过将 unutbu 的答案和这个答案相结合，我发现了如何做到这一点，并认为我会为未来的用户分享。

创建一个带有Cost列的数据帧：

In[1]:
import pandas as pd
import numpy as np
times = pd.to_datetime([
    "2014-08-25 21:00:00", "2014-08-25 21:04:00",
    "2014-08-25 22:07:00", "2014-08-25 22:09:00"
])
df = pd.DataFrame({
    "Location": ["HK", "LDN", "LDN", "LDN"],
    "Event":    ["foo", "bar", "baz", "qux"],
    "Cost":     [20, 24, 34, 52]
}, index = times)
df

Out[1]:
                     Location  Event  Cost
2014-08-25 21:00:00        HK    foo    20
2014-08-25 21:04:00       LDN    bar    24
2014-08-25 22:07:00       LDN    baz    34
2014-08-25 22:09:00       LDN    qux    52

现在我们通过使用agg函数进行分组，指定每列的聚合方法，例如计数、均值、总和等。

In[2]:
grp = df.groupby([pd.Grouper(freq = "1H"), "Location"]) \
      .agg({"Event": np.size, "Cost": np.mean})
grp

Out[2]:
                               Event  Cost
                     Location
2014-08-25 21:00:00  HK            1    20
                     LDN           1    24
2014-08-25 22:00:00  LDN           2    43

那么最终unstack与填充NaN用零而显示为int ，因为它的漂亮。

In[3]: 
grp.unstack().fillna(0).astype(int)

Out[3]:
                    Event     Cost
Location               HK LDN   HK LDN
2014-08-25 21:00:00     1   1   20  24
2014-08-25 22:00:00     0   2    0  43

Answer 4

这可以在不使用resample或Grouper情况下完成，如下所示：

df.groupby([df.index.floor("1H"), "Location"]).count()

Answer 5

如果要保留所有列

df = (df.groupby("Location")
      .resample("H", on="date")
      .last()
      .reset_index(drop=True))