丢失连接场景下的 Flink 事件时间处理

Question

Flink 在这里提供了一个示例： https://www.ververica.com/blog/stream-processing-introduction-event-time-apache-flink描述了某人正在玩游戏，由于地铁而失去连接然后当他重新上线了所有数据都回来了，可以进行排序和处理。

我对此的理解是，如果有更多玩家，有两种选择：

1. 所有其他的将被延迟，等待该用户恢复连接并发送允许推送水印的数据；

2. 该用户被归类为空闲，允许水印向前移动，当他连接时，他的所有数据将 go 到后期数据 stream；

我想有以下选项：每个用户都使用自己的水印进行独立处理，用于他的 session window。 理想情况下，我什至会使用摄取时间（因此，当他恢复连接时，我会将所有数据放入一个唯一的 session 中，稍后在 session 关闭后按事件时间戳排序）并且当前时间和最后一个时间之间会有差距我正在处理的 window 的时间戳（摄取）（session window 根据终止会话的时间间隔保证这一点）； 一旦一个用户失去连接，我也不希望水印卡住，我也不想管理空闲状态：只需继续正常处理所有其他事件，一旦该用户回来，不要将任何数据分类为延迟数据由于与用户失去连接的时刻相比，水印在时间上提前了；

我该如何实现上述要求？ 由于水印是全球性的，我一直很难处理这样的场景。 每个键都没有水印有简单的解释吗？

先感谢您！

Answer 1

最接近 Flink 的水印直接支持这一点可能是对 per-kafka-partition 水印的支持——这并不是您描述的情况的实际解决方案（因为每个用户都有一个 kafka 分区是不现实的）。

可以做的是简单地忽略水印，并使用 KeyedProcessFunction 自己实现逻辑。

顺便说一句，最近在主题为Per Key Grained Watermark Support的 flink-user 和 flink-dev 邮件列表上有一个关于此的主题。