Flink 和无键 window state

Question

我正在创建一个 Flink 应用程序，它只是将窗口化的传入 Kafka 事件转发到另一个 Kafka 主题，并为每个 window 添加开始和结束标记 - 例如，对于包含1, 2, 3, 4, 5的 1 小时的 window , 我将start_timestamp, 1, 2, 3, 4, 5, end_timestamp到不同的 Kafka 主题中。 以后可能会有一些其他的转换，但一般来说，对于 N 个事件，我总是会发出至少 N+2 个事件。

据我了解，使用windowAll()和ProcessAllWindowFunction将注入开始和结束标记应该这样做。 我的问题是关于 state 管理。 I'll be using RocksDb state backend - will it also keeps persisting internal window state even for this non-keyed stream? 我主要关心的是能够将 state 保留在 window 中，这样我就不会再次对其进行重新处理，尤其是对于大型 windows。

Answer 1

对于这么简单的事情，我会使用一个FlatMap （并行度设置为 1），它在 state 中保留当前 window 的时间和最后一个事件时间。 每当记录到达时，如果它在一个新的每小时 window 中，我会发出end_timestamp （最后一个事件时间）、 start_timestamp （来自新记录），并更新保存状态的当前小时。 在所有情况下，state 中的最后一个事件时间也会更新。 这假设您的传入事件是严格排序的，因此您不必担心延迟数据。

Answer 2

我更喜欢@kkrugler 的方法，因为它可以避免保留所有 state 的成本。 但是要回答您的问题，是的， windowAll可以使用 RocksDB state 后端来保存其内容。 在引擎盖下， windowAll实际上是一个带有特殊常量键的键控 window。 因此，即使 RocksDB 只能用于管理键控 state，它也可以工作。