处理时间序列中的 Gap-and-Island 问题 dataframe

Question

以下df显示了手头的 dataframe 的一部分。

df = pd.DataFrame(
    { 'trip': [15,15,15,15,15,15,15,15,15,15,17,17,17,17,17,17,17,17],
  'session_id': [4,4,4,4,4,4,4,4,4,4,1,1,1,1,1,1,1,1],
  'timestamp':['2016-04-13 08:35:55.78+01','2016-04-13 08:35:56.78+01','2016-04-13 08:35:57.78+01',
              '2016-04-13 13:10:00.813+01','2016-04-13 13:10:44.477+01','2016-04-13 13:10:52.251+01',
              '2016-04-13 13:16:33.821+01','2016-04-13 13:16:34.821+01', '2016-04-13 19:00:56.359+01',
              '2016-04-13 19:01:20.235+01','2016-04-13 21:16:36.857+01','2016-04-13 21:16:36.857+01',
              '2016-04-13 21:16:36.857+01','2016-04-13 21:16:37.853+01','2016-04-13 21:16:38.866+01',
              '2016-04-13 23:30:58.521+01','2016-04-13 23:31:08.274+01','2016-04-13 23:31:16.072+01']
}
)

df
   trip session_id  timestamp
0   15      4     2016-04-13 08:35:55.78+01
1   15      4     2016-04-13 08:35:56.78+01
2   15      4     2016-04-13 08:35:57.78+01
3   15      4     2016-04-13 13:10:00.813+01
4   15      4     2016-04-13 13:10:44.477+01
5   15      4     2016-04-13 13:10:52.251+01
6   15      4     2016-04-13 13:16:33.821+01
7   15      4     2016-04-13 13:16:34.821+01
8   15      4     2016-04-13 19:00:56.359+01
9   15      4     2016-04-13 19:01:20.235+01

它表示以相对较高粒度记录的用户行程。 然后我们在连续样本之间使用 30 分钟的间隔来指定新行程（如果阈值 > 30 分钟：新行程）。

然而，在我们的第一次 model 评估之后，我们需要回溯以检查可能的错误来源并评估影响。 那是我们发现问题 if gap-and-island in df的时候。

例如，在给定的 dataframe 中，我们可以看到在 08:35:57 之后，在08:35:57接收到下一个样本，而在13:10:00和13:16:34 19:00:56是另一个小时间隔。

我们还可以看到行程17从21:16:38到23:30:58的差距。 当然，大部分行程都没有这个问题。

我的任务是处理这个df并确定我在df的总行程中出现这个问题的行程的比例。 如果可能的话，我也会对问题发生的频率感兴趣。

我将使用一些可视化工具来解决这个问题，并将其呈现出来，以便团队中的人可以轻松了解影响。