Flink键控windows水印

Question

我正在使用带有事件时间键控 windows 的 flink。 似乎有些 windows 没有被发射。
是否为每个键单独推进水印？
例如，如果我的密钥是 (id,type)，并且一对特定的 id 和 type 没有被摄取到源，那么它们的特定 window 水印是否不会前进？ 如果是这种情况，我如何确保我所有的键控 windows 会在一段时间后被驱逐？ （我们有很多键，因此不能为每个键发送定期虚拟消息）。

我会很感激任何帮助

Answer 1

Flink 对每个任务（即每个并行实例）都有单独的水印——否则将不得不进行某种极其昂贵的全局协调——但不是每个键。 在键控 window 的情况下，window 运算符的每个实例将处理键空间的一些不相交子集的事件，并且所有 windows 将使用相同的水印键。

请记住，空 windows 不会产生结果。 因此，如果某个键在 window 期间没有事件发生，则 window 不会为该键生成结果。

或者可能是您有一个空闲的来源阻止了水印。 如果您的源任务之一变得空闲，则其水印将不会前进。 您可以在 web UI 中检查当前水印，并检查它是否在每项任务中都在推进。