“对键控数据流进行滚动式缩减”是什么意思？DataStream reduce函数

Question

我试图理解键控数据流上的“滚动”减少。

我有一种情况，我想忽略某些在特定时间到达的消息。 例如，第一个事件->在事件之间->最后一个事件，我只想捕获第一个和最后一个事件，并想从流中跳过/删除事件之间。 而且重要的是，它应该在某些密钥的基础上发生。在我的情况下，当我应用密钥时，它不会出现任何阻碍。

Answer 1

滚动减少可能不是您想要的。 它拥有一个元素作为状态。 每当接收到新元素时，它将对存储的新元素应用ReduceFunction 。 该函数的结果被发出并更新状态。 该运算符没有end元素的概念，将始终具有状态并等待下一个元素进行处理。

我认为有状态的FlatMapFunction或ProcessFunction将是适合您的用例的正确方法。 该函数会将开始元素存储为状态，并等待结束元素到达。 一旦接收到它，就发出开始和结束元素并清理状态。

整个程序如下所示：

val stream[Event] = ...
val startEnd[(Event, Event)] = stream
  .keyBy(yourKey)
  .flatMap(yourStatefulFunction)