在没有窗口的键控流上减少Flink

Question

我阅读了源代码，将每个结果都减少到下游。

---

我想通过没有窗口的键减少流，

    stream.keyBy(key)
          .reduce((a, b) -> {
                //reduce
                return a+b;
          });

如果在窗口上缩小，则flink将在水印到达时将元素前移到下游，因此flink如何确定无窗口的缩小完成。

Answer 1

根据官方文档https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/

减少 KeyedStream→DataStream

对键控数据流进行“滚动”压缩。 将当前元素与最后一个减小的值合并并发出新值。

窗口缩小 WindowedStream→DataStream

将功能化的reduce函数应用于窗口，并返回减小的值。

关键区别在于：

• 当在窗口中完成reduce ，该函数将当前值与窗口一合并。
• 当reduce在KeyedStream完成后，该功能结合了最新一期的当前值。

Answer 2

对于流处理，通常不会有计算“完成”的想法。 他们只是无限期地前进。 只要您使作业保持运行状态，非窗口式减少就可以继续减少。