Python / Pandas：仅当匹配列时才合并连续的行

Question

我有一个庞大的数据集，其中包含在网络中传播的对象的记录。 该数据集存储在pandas数据集中，大致如下所示：

Obj ID | Timestamp | x | y | link ID
-------|-----------|---|---|---------
 123   |  506      |123|456|  ab12
 123   |  517      |129|436|  ab12
 123   |  519      |125|454|  cd34
 126   |  501      |123|426|  gk77
 126   |  505      |153|453|  gk77
 126   |  507      |129|856|  bj88
 126   |  508      |143|496|  bj88
 126   |  512      |125|427|  gk77
 126   |  515      |153|453|  gk77
 126   |  518      |127|256|  ab12

数据帧已按Obj ID排序，属于对象的每个记录块均已按时间（以秒为单位的“ Timestamp字段）进行了排序。 具有相同Obj ID和link ID两个连续行代表该link ID的对象的开始和结束。 对象最终在链接处结束，该链接由出现在对象记录末尾的单个链接ID表示。

这是所需的输出。 将一个对象访问一个链接的开始记录和结束记录压缩为一个记录。 对于每一个对象的结束链接，只需填写StartTime的EndTime 。

Obj ID | StartTime | EndTime | link ID
-------|-----------|---------|---------
 123   |  506      |   517   |  ab12
 123   |  519      |   519   |  cd34
 126   |  501      |   505   |  gk77
 126   |  507      |   508   |  bj88
 126   |  512      |   515   |  gk77
 126   |  518      |   518   |  ab12

注意：

• 无法保证一个对象不会两次进入同一链接。 但是每次访问链接都需要单独记录。

• 由于数据集非常大，我实现的一个幼稚的循环解决方案内存不足。

编辑 ：我编辑了数据集以包括我的“注释”第一点中提到的情况。

Answer 1

让我们尝试一下：

g =(df['link ID'] != df.shift().fillna(method='bfill')['link ID']).cumsum().rename('group')

df.groupby(['Obj ID','link ID',g])['Timestamp'].agg(['min','max']).reset_index().rename(columns={'min':'StartTime','max':'EndTime'}).drop('group',axis=1)

输出：

    Obj ID link ID    StartTime      EndTime
0   123       ab12    506          517      
1   123       cd34    519          519      
2   126       ab12    518          518      
3   126       bj88    507          508      
4   126       gk77    501          505      
5   126       gk77    512          515      

Answer 2

df.drop_duplicates(subset = ['Obj ID','link ID'], 
    keep='first').merge(x.drop_duplicates(subset = ['Obj ID','link ID'], 
    keep='last'), on= ['Obj ID','link ID'])