Pandas：根据另一列找到具有附加条件的一列的重复行对

Question

我有一个包含 2 列（TrackTRUEPt、EventNumber）和大约 500k 个条目的 Pandas 数据框。 我想保留具有相同 TrackTRUEPt 值的数据点对，但此外还有±1 的 EventNumber 差异，即连续的 EventNumbers。 我不能简单地使用 'duplicated' 方法，因为在我的数据框中，通常有两个以上的数据点具有相同的 TrackTRUEPt 值，因此重复保留了所有这些，而不仅仅是我想要的对。

    TrackTRUEPt      EventNumber
0   15049.719727         1
1   15049.719727         2
2   5530.503906          3
3   3943.318115          4
4   1760.578979          10
5   1760.578979          11
6   15049.719727         12
7   4931.394043          21
8   4931.394043          22
9   3943.318115          23
10  11068.919922         24

对于这种特殊情况，您将只保留对（第 0 行、第 1 行）、（第 4 行、第 5 行）和（第 7 行、第 8 行），因为所有这些对都具有相同的 TrackTRUEPt 值，此外还有连续的事件编号IE

EventNumber(row 1) - EventNumber(row 0) = 2 - 1 = +1, 
EventNumber(row 5) - EventNumber(row 4) = 11 - 10 = +1, 
EventNumber(row 8) - EventNumber(row 7) = 22 - 21 = +1

预期的输出数据帧将是

        TrackTRUEPt        EventNumber
    0   15049.719727          1
    1   15049.719727          2
    4   1760.578979           10
    5   1760.578979           11
    7   4931.394043           21
    8   4931.394043           22

任何帮助将不胜感激，因为我无法找出最好的方法来做到这一点。

Answer 1

对于计数连续值创建帮手Series由Series.shift和Series.cumsum并获得数GroupBy.transform只比2通过连续对Series.eq并通过过滤boolean indexing ：

g = df['TrackTRUEPt'].ne(df['TrackTRUEPt'].shift()).cumsum()
df1 = df[g.groupby(g).transform('size').eq(2)].copy()
print (df1)
    TrackTRUEPt  EventNumber
0  15049.719727            1
1  15049.719727            2
4   1760.578979           10
5   1760.578979           11
7   4931.394043           21
8   4931.394043           22

然后可以通过GroupBy.agg减去最后一个值：

df2 = (df1.groupby('TrackTRUEPt')['EventNumber']
          .agg(lambda x: x.iat[-1] - x.iat[0])
          .reset_index(name='diff'))

print (df2)
    TrackTRUEPt  diff
0   1760.578979     1
1   4931.394043     1
2  15049.719727     1

或者因为成对是可能的使用DataFrame.drop_duplicates ：

a = df1.drop_duplicates('TrackTRUEPt').set_index('TrackTRUEPt')
b = df1.drop_duplicates('TrackTRUEPt', keep='last').set_index('TrackTRUEPt')

df2 = b['EventNumber'].sub(a['EventNumber']).reset_index(name='diff')
print (df2)
    TrackTRUEPt  diff
0  15049.719727     1
1   1760.578979     1
2   4931.394043     1