Flink-在时间限制内处理连续事件

Question

我有一个用例，我认为我需要一些有关如何使用它的帮助。 因为我是流媒体和Flink的新手，所以我将尽力描述我要实现的目标。 抱歉，如果我不习惯正式和正确的语言。

我的代码将使用Java，但我不希望使用python或仅使用伪代码或方法来获取代码。

TL：DR

1. 在一定时间范围内对同一键的事件进行分组。
2. 在这些事件中，仅从2个最接近的（时域）事件创建结果事件。
3. （我认为）这需要为每个事件打开一个窗口。
4. 如果您期待批处理解决方案，那么您将最好地理解我的问题。

背景：

1. 我有来自传感器的数据作为来自Kafka的流。
2. 我需要使用eventTime，因为该数据未记录。 将给我90％的事件的延迟时间约为1分钟。
3. 我通过一些键将这些事件分组。

我想做的事：

1. 根据某些事件的字段-我想将2个事件“加入/混合”成一个新事件（“结果事件”）。
2. 第一个条件是那些连续的事件之间相隔30秒。
3. 接下来的条件是简单地检查某些字段值，然后再确定。

我的伪解决方案：

1. 打开每个事件的新窗口。 该窗口应为1分钟。
2. 对于该分钟内发生的每个事件-我想检查它的事件时间，看看是否距离初始窗口事件30秒。 如果是，请检查其他情况并忽略新的结果流。

问题-当发生新事件时，它需要：

1. 为自己创建一个新窗口。
2. 在距30秒的几个可能的窗口中，仅加入一个窗口。

问题：

那可能吗？

换句话说，我的连接仅在两个“连续”事件之间。

非常感谢你。

也许显示** BATCH案例的解决方案将显示我正在尽力而为：**

for i in range(grouped_events.length):
    event_A = grouped_events[i]
    event_B = grouped_events[i+1]
    if event_B.get("time") - event_A.get("time") < 30:
        if event_B.get("color") == event_A.get("color"):
            if event_B.get("size") > event_A.get("size"):
                create_result_event(event_A, event_B)

到目前为止，我（天真的）在Java中尝试使用Flink

** sum函数只是我创建新结果对象的函数的占位符...

1. 第一个解决方案是做一个简单的时间窗口并按某个字段求和

2. 其次是尝试在窗口上执行一些处理功能，也许在那里反复抛出所有事件并检查我的条件？

    DataStream .keyBy(threeEvent -> threeEvent.getUserId()) .window(TumblingEventTimeWindows.of(Time.seconds(60))) .sum("size") .print(); DataStream .keyBy(threeEvent -> threeEvent.getUserId()) .window(TumblingEventTimeWindows.of(Time.seconds(5))) .process(new processFunction()); public static class processFunction extends ProcessWindowFunction<ThreeEvent, Tuple3<Long, Long, Float>, Long, TimeWindow> { @Override public void process(Long key, Context context, Iterable<ThreeEvent> threeEvents, Collector<Tuple3<Long, Long, Float>> out) throws Exception { Float sumOfSize = 0F; for (ThreeEvent f : threeEvents) { sumOfSize += f.getSize(); } out.collect(new Tuple3<>(context.window().getEnd(), key, sumOfTips)); } } 

Answer 1

当然，您可以使用窗口来创建您进行排序和分析的迷你批处理，但是将很难正确处理窗口边界（如果应该配对的事件会落在不同的窗口中怎么办？）。

使用键控流和有状态平面图看起来会容易得多。 只需使用RichFlatMapFunction并使用一个键控状态（ValueState）即可记住每个键的上一个事件。 然后，在处理每个事件时，将其与保存的事件进行比较，如果应该发生则产生结果，并更新状态。

您可以在flink培训和flink文档中了解有关使用flink的键控状态的信息 。

与您的用例有关的一件事是我的事件是否可能乱序到达。 为了获得正确的结果，是否需要先按时间戳对事件进行排序？ 那不是小事。 如果这是一个令人担忧的问题，那么我建议您将Flink SQL与MATCH_RECOGNIZE或CEP库一起使用 ，两者均旨在对事件流进行模式识别，并会为您对流进行排序（提供时间戳和水印）。

该查询可能并不完全正确，但是希望传达出如何通过matchognize进行如下操作的风格：

SELECT * FROM Events
MATCH_RECOGNIZE (
  PARTITION BY userId
  ORDER BY eventTime
  MEASURES
    A.userId as userId,
    A.color as color,
    A.size as aSize,
    B.size as bSize
  AFTER MATCH SKIP PAST LAST ROW
  PATTERN (A B)
  DEFINE
    A AS true,
    B AS ( timestampDiff(SECOND, A.eventTime, B.eventTime) < 30) 
           AND A.color = B.color 
           AND A.size < B.size )
);

这也可以使用CEP非常自然地完成，在CEP中，比较连续事件的基础是使用迭代条件 ，并且可以使用within子句来处理时间约束。