如何检查 Spark/Scala 中记录之间的连续行？

Question

我想检查 HBase 表中每一分钟的数据，如果在 30 秒内连续接收到大于 50 的数据，则需要生成一个警报。 但是如果我们在 30 秒的持续时间内收到少于 50 个，则需要检查下一行。

数据如下所示：

身份证时间速度
1 10:00:00 50
1 10:00:05 51
1 10:00:10 47-->如果值小于 50，则无需考虑前两个持续时间值

1 10:00:15 53-->再次开始检查
1 10:00:20 54
1 10:00:25 55
1 10:00:30 56
1 10:00:35 57
1 10:00:40 58
1 10:00:45 59 生成警报 --> 在 30 秒内收到 >50 的值

1 10:00:50 57
1 10:00:55 58
1 10:01:00 59
2 10:00:00 60
2 10:00:05 41
2 10:00:15 53
2 10:00:20 54
2 10:00:25 55
2 10:00:30 65
2 10:00:35 55
2 10:00:40 58
2 10:00:45 68 生成警报
2 10:00:55 58
2 10:01:00 59

期望的结果：

身份证时间速度
1 10:00:45 59

2 10:00:45 68

在此处输入图像描述

Answer 1

我认为您想研究Hbase 中的 JXM 监控。 您可以查看几个指标，看看是否能找到适合您的东西。