来自两个不同列中两个连续行的两个日期之间的差异

Question

在这里输入图像描述，我有一个包含超过数百万条记录的配置单元表。 输入具有以下类型：输入：

rowid     |starttime              |endtime                  |line   |status
--- 1     2007-07-19 00:05:00    2007-07-19 00:23:00        l1     s1 
--- 2     2007-07-20 00:00:10    2007-07-20 00:22:00        l1     s2
--- 3     2007-07-19 00:00:00    2007-07-19 00:11:00        l2     s2

我想要做的是按开始时间逐行对表进行1阶排序时。 然后找到两个连续的行结束时间和开始时间之间的差异。 如果相差超过5分钟，则在新表之间添加一个新行，其中包含状态错过时间。

在输入行1和2中，时间差为1小时10分钟，因此第一行我将为第19个日期创建行，并在缺少时间的情况下完成该天，然后如下所示为第20行再添加一行。

输出：

rowid |starttime               |endtime              |line   |status
--- 1 |2007-07-19 00:05:00     |2007-07-19 00:23:00  |l1     |s1 
--- 2 |2007-07-19 00:23:01     |2007-07-19 00:00:00  |l1     |misstime
--- 3 |2007-07-20 00:00:01     |2007-07-20 00:00:09  |l1     |misstime
--- 4 |2007-07-20 00:00:10     |2007-07-20 00:22:00  |l1     |s2
--- 3 |2007-07-19 00:00:00     |2007-07-19 00:11:00  |l2     |s2 

有人可以帮助我直接通过蜂巢实现这一目标吗？ Unix脚本也可以。

提前致谢。

Answer 1

解决方案模板是：

1. 使用LAG（）函数获取上一行的开始时间或结束时间。
2. 对于每一行，计算当前时间与上一时间之间的差异
3. 筛选差异超过5分钟的行。
4. 将数据集转换为所需的输出。

例：

    insert into yourtable
    select 
    s.rowid, 
    s.starttime ,
    s.endtime,
    --calculate your status here, etc, etc
from    
    (
    select rowid starttime endtime, 
           lag(endtime) over(partition by rowid order by starttime) prev_endtime
    from yourtable ) s
    where (unix_timestamp(endtime) - unix_timestamp(prev_endtime))/60 > 5 --latency>5 min