是否有 Pandas function 來計算時間戳之間的事件？

Question

我的數據只有 100k 行和以下列：

1. Time （yyyy-MM-dd hh:mm:ss.ffffff），
2. ID （字符串），
3. Group1 (int32),
4. Group2 (int32)。

我想計算在每個事件之前有多少事件來自同一個Group1和Group2 ，時間 window 為 5 分鍾。 例如：

ID              Time                      Group1    Group2
61ED2269CCAC    2020-07-27 00:01:05.781   1234      100123
61C2DC4E96FA    2020-07-27 00:01:17.279   1234      100123
FAD0839C1A95    2020-07-27 00:02:38.112   1234      100124
A2750A7B6C24    2020-07-27 00:16:50.592   4321      100123
03F5DF150A3C    2020-07-27 00:17:00.246   4321      100124

在Timestamp('2020-07-26 23:56:17.279000') （第二個事件前 5 分鍾）之后發生了多少事件並且屬於組Group1和Group2 ？ 因此，在此示例中，第二個事件的計數器為 1。 rest 的計數器為 0，因為它們的組是唯一的。

每個事件都應該有一個計數器，指示在它之前有多少來自同一組的事件。

我嘗試按組和按Time對數據進行排序，然后運行一個嵌套循環，一個運行在所有事件上，一個運行從啟動到當前事件索引。 幾 1000 行后，該過程顯着減慢，使此選項不可行。 我想知道是否還有其他優雅而有效的方法可以做到這一點。

編輯：我能夠用一個for循環而不是嵌套循環來做到這一點。 對於每個循環，我記錄了時間和組，並對 Dataframe 進行切片，以將事件包含在組和所需時間范圍內，然后將事件數相加：

for i in tqdm(range(len(df))):
   time_stamp = df.loc[i, 'Time']
   group1 = df.loc[i, 'Group1']
   group2 = df.loc[i, 'Group2']
   sub_df = df[df['Time'] + timedelta(minutes=-5) > time_stamp]
   sub_df = sub_df[sub_df['Time'] < time_stamp]
   sub_df = sub_df[sub_df['Group1'] == group1]
   sub_df = sub_df[sub_df['Group2'] == group2]
   df.loc[i, 'prior_events'] = sub_df.size

盡管如此，tqdm 顯示每秒 18 次迭代，這對於 100k 行來說並不是很好。

Answer 1

為了獲得更有啟發性的結果，我擴展了您的數據樣本：

              ID                    Time  Group1  Group2
0   61ED2269CCAC 2020-07-27 00:01:05.781    1234  100123
1   61C2DC4E96FA 2020-07-27 00:01:17.279    1234  100123
2   FAD0839C1A95 2020-07-27 00:02:38.112    1234  100124
3   FAD0839C1A95 2020-07-27 00:05:38.000    1234  100123
4   FAD0839C1A95 2020-07-27 00:06:39.000    1234  100123
5   A2750A7B6C24 2020-07-27 00:16:50.592    4321  100123
6   03F5DF150A3C 2020-07-27 00:17:00.246    4321  100124
7   03F5DF150A3C 2020-07-27 00:18:00.000    4321  100124
8   03F5DF150A3C 2020-07-27 00:20:00.000    4321  100124
9   03F5DF150A3C 2020-07-27 00:22:00.000    4321  100124
10  03F5DF150A3C 2020-07-27 00:23:00.000    4321  100124

假設Time列是datetime類型並且它的值是唯一的，您可以生成結果（ Count列），如下所示：

df.set_index('Time', inplace=True)
df['Count'] = (df.groupby(['Group1', 'Group2'], as_index=False)\
    .Group1.rolling(window='5T', closed='both').count() - 1).astype(int)\
    .reset_index(level=0, drop=True)
df.reset_index(inplace=True)

結果是：

                      Time            ID  Group1  Group2  Count
0  2020-07-27 00:01:05.781  61ED2269CCAC    1234  100123      0
1  2020-07-27 00:01:17.279  61C2DC4E96FA    1234  100123      1
2  2020-07-27 00:02:38.112  FAD0839C1A95    1234  100124      0
3  2020-07-27 00:05:38.000  FAD0839C1A95    1234  100123      2
4  2020-07-27 00:06:39.000  FAD0839C1A95    1234  100123      1
5  2020-07-27 00:16:50.592  A2750A7B6C24    4321  100123      0
6  2020-07-27 00:17:00.246  03F5DF150A3C    4321  100124      0
7  2020-07-27 00:18:00.000  03F5DF150A3C    4321  100124      1
8  2020-07-27 00:20:00.000  03F5DF150A3C    4321  100124      2
9  2020-07-27 00:22:00.000  03F5DF150A3C    4321  100124      3
10 2020-07-27 00:23:00.000  03F5DF150A3C    4321  100124      3

注意最后一行。 Is 有Count == 3 ，包括 5 分鍾前的事件。 如果您希望不計算此事件，請刪除closed='both'參數。

根據 14:49Z 的評論進行編輯

顯然，您的數據具有重復的時間值，即使在具有相同Group1 / Group2的一組行中也是如此。

為了解決這個問題，采取另一種方法：

1. 定義一個 function 生成計數：

    def Counts(grp): vc = grp.Time.value_counts().sort_index() cnt = (vc.rolling(window='5T', closed='both').sum()).astype(int) - vc s = pd.Series(cnt, index=grp.Time) return pd.Series(s.values, index=grp.index)

2. 應用它：

    df['Counts'] = df.groupby(['Group1', 'Group2'], as_index=False)\.apply(Counts).reset_index(level=0, drop=True)

此代碼基於您的源 DataFrame 是按Time排序的假設。

我在一個數據樣本上測試了上面的代碼，其中添加了一行，其中重復了前一行的時間。

結果是：

              ID                    Time  Group1  Group2  Counts
0   61ED2269CCAC 2020-07-27 00:01:05.781    1234  100123       0
1   61C2DC4E96FA 2020-07-27 00:01:17.279    1234  100123       1
2   FAD0839C1A95 2020-07-27 00:02:38.112    1234  100124       0
3   FAD0839C1A95 2020-07-27 00:05:38.000    1234  100123       2
4   FAD0839C1A95 2020-07-27 00:06:39.000    1234  100123       1
5   A2750A7B6C24 2020-07-27 00:16:50.592    4321  100123       0
6   03F5DF150A3C 2020-07-27 00:17:00.246    4321  100124       0
7   03F5DF150A3C 2020-07-27 00:18:00.000    4321  100124       1
8   03F5DF150A3C 2020-07-27 00:20:00.000    4321  100124       2
9   03F5DF150A3C 2020-07-27 00:22:00.000    4321  100124       3
10  03F5DF150A3C 2020-07-27 00:23:00.000    4321  100124       3
11  03F5DF150BBB 2020-07-27 00:23:00.000    4321  100124       3