Python - 计算访问之间的时间（使用开始和停止）

Question

之前可能已经回答过这个问题，但我不确定要搜索的正确术语，所以如果是的话，请提前致歉。

我正在使用 pyodbc 连接到 MSSQL 数据库并提取访问列表。 这些访问有开始和结束时间：

select EMP_ID, VISIT_DATE, VISITSTART, VISITSTOP 
from VISITS 
where 
EMP_ID in (<List of Emps>) and SORTDATE between '2023-01-16' and '2023-01-29'
order by EMP_ID, VISIT_DATE

返回：

EMP_ID      VISIT_DATE              VISITSTART              VISITSTOP
S0000000163 2023-01-16 00:00:00.000 2023-01-16 08:59:00.000 2023-01-16 10:32:00.000
S0000000163 2023-01-16 00:00:00.000 2023-01-16 10:58:00.000 2023-01-16 12:35:00.000
S0000000163 2023-01-16 00:00:00.000 2023-01-16 13:06:00.000 2023-01-16 14:06:00.000
S0000000166 2023-01-16 00:00:00.000 2023-01-16 07:21:00.000 2023-01-16 08:15:00.000
S0000000166 2023-01-16 00:00:00.000 2023-01-16 08:45:00.000 2023-01-16 08:52:00.000
S0000000166 2023-01-16 00:00:00.000 2023-01-16 09:56:00.000 2023-01-16 10:46:00.000

我要计算的是从一次访问结束到下一次访问开始的时间差（以分钟为单位）。 然后需要每天按 EMP_ID 对其进行分组。

所以在上面的例子中：

• 第一次访问结束于 1032，下一次访问开始于 1058 - 这是 26 分钟的差距
• 第二次访问结束于 1235，下一次访问开始于 1306 - 这是 31 分钟的间隔

以此类推，为同一名员工继续到第二天，或者从下一位员工开始。 对于 1 月 16 日的员工 163，两次访问之间的总间隔时间为 57 分钟。

我知道我可以使用循环来做到这一点，但我知道有一种“更干净”的方法可以做到这一点，使用某种滚动 window。我只是缺乏搜索正确函数和包的知识。

我遇到的帖子和博客在单个列中计算时间差异，但我有两个。

最终，我想要的是 output，如下所示：

EMP_ID      VISITDATE  IDLE_TIME
S0000000163 2023-01-16 56
S0000000163 2023-01-17 48
S0000000166 2023-01-16 92
S0000000166 2023-01-17 54

这将在每次处理运行中处理大约 150,000 次个人访问。

非常感谢任何帮助！

谢谢

Answer 1

Pandas库为此类情况提供了丰富的功能。
假设您将所选数据从 MSSQL 连接加载到 dataframe 中：

import pandas as pd

...
df = pd.read_sql(your_query, your_pyodbc_connection)

这是按'EMP_ID','VISIT_DATE'分组并计算组内相邻访问之间的差异：

visit_gaps = df.groupby(['EMP_ID','VISIT_DATE']).apply(lambda x: x['VISITSTART'].shift(-1).sub(x['VISITSTOP'])
                                                       .astype('timedelta64[m]').sum()).to_frame('IDLE_TIME').reset_index()

---

        EMP_ID VISIT_DATE  IDLE_TIME
0  S0000000163 2023-01-16       57.0
1  S0000000166 2023-01-16       94.0