在 Flink 中是否可以将 state 与非键控 stream 一起使用？

Question

让我们假设我有一个输入 DataStream 并想实现一些需要“内存”的功能，所以我需要 ProcessFunction 让我可以访问 state。是否可以直接对 DataStream 进行操作，或者唯一的方法是通过初始 stream 进行键控并在键控上下文中工作？

我认为一种解决方案是使用硬编码的唯一密钥对 stream 进行 keyBy，这样整个输入 stream 最终都在同一组中。 然后从技术上讲，我有一个 KeyedStream，我通常可以使用键控 state，就像我在下面用 keyBy(x->1) 显示的那样。 但这是一个好的解决方案吗？

DataStream<Integer> inputStream = env.fromSource(...)

DataStream<Integer> outputStream = inputStream
                 .keyBy(x -> 1)
                 .process(...) //I've got acess to state heree

据我了解，这不是一个常见的用例，因为 flink 的主要目的是对 stream 进行分区，分别处理它们，然后合并结果。 在我的场景中，这正是我正在做的，但问题是合并步骤需要 state 才能产生最终的“全局”结果。 我真正想做的是这样的：

DataStream<Integer> inputStream = env.fromElements(1,2,3,4,5,6,7,8,9)

//two groups: group1=[1,2,3,4] & group2=[5,6,7,8,9]
DataStream<Integer> partialResult = inputStream
                            .keyBy(val -> val/5) 
                            .process(<..stateful processing..>)

//Can't do statefull processing here because partialResult is not a KeyedStream
DataStream<Integer> outputStream = partialResult
                          .process(<..statefull processing..>)

outputStream.print();

但是 Flink 似乎不允许我执行最终的“合并部分结果操作”，因为我无法在进程 function 中访问 state，因为 partialResult 不是 KeyedStream。

我是 flink 的初学者，所以我希望我写的内容有意义。 总的来说，我可以说我还没有找到执行“合并”步骤的好方法，尤其是在涉及复杂逻辑时。 如果我遗漏了什么，希望有人能给我一些信息、提示或纠正我

感谢您的时间

Answer 1

1. “keyBy the stream with a hardcoded unique key”是个好主意吗？ 好吧，通常不会，因为它强制所有数据流经单个子任务，因此您无法从 Flink 集群中的完全并行性中获益。
2. 使用.keyBy(val -> val/5) ，你不会得到two groups: group1=[1,2,3,4] & group2=[5,6,7,8,9,10] ，你'会得到group0=[1,2,3,4] , group1=[5,6,7,8,9] , group2=[10]因为 10/5 = 2。
3. 第二次process()调用所需的 state 是什么？ 如果它的键控与第一个process()相同，则只需将这两个过程函数合并为一个。 或者您可以使用 Flink 的DataStreamUtils.reinterpretAsKeyedStream()调用，请参阅文档。 否则，如果它的键控不同，那么显然你需要另一个.keyBy() 。 如果它真的没有密钥，那么你需要什么 state？