Flink中的键控流中的记录顺序

Question

我有一个流，其中记录按顺序到达。 我应用了地图功能，然后在其上使用keyBy功能。 记录的顺序是否将在使用相同密钥的每个记录流中维护？

流中的记录排序也有类似的问题。 但是我对给出的答案和从链接“ https://ci.apache.org/projects/flink/flink-docs-release-1.2/concepts/programming-model.html ”复制的以下描述感到困惑。

“在重新分配交换中，元素之间的顺序仅保留在每对发送和接收子任务中（例如map（）的subtask [1]和keyBy / window的subtask [2]）。因此，在此示例中，每个键内的顺序被保留，但是并行性的确引入了不确定性，即不同键的聚合结果到达接收器的顺序。”

在给定的示例中，keyBy的subtask [2]从map的subtask [1]和subtask [2]接收元素。 如果仅在子任务之间维护顺序，如何保留每个键中的顺序？

Answer 1

keyBy操作仅维护来自同一子任务的事件的顺序。 对于来自不同子任务的事件，Flink不会为您提供任何订单保证。

为了说明这一点，请假设以下情形：您有两个map子任务map1和map2以及两个接收器子任务sink1和sink2 。 在映射器和接收器之间，您可以执行keyBy操作。

map1产生以下事件序列(1, A), (2, B), (1, C), (2, D)而map2产生(1, U), (1, V), (2, W), (2, X) ，其中第一个元组条目是我们的键。 这意味着， sink1将接收集合{(1, A), (1, C), (1, U), (1, V)}和sink2接收该集合{(2, B), (2, D), (2, W), (2, X)} 。

不失一般性，让我们看一下sink1的顺序。 您可以说的是，来自同一生产子任务的所有事件以与生产它们相同的顺序到达。 因此， (1, A)将在(1, C)之前到达。 但是，您无法说出来自不同生产子任务的事件之间的顺序是什么。 因此，您不知道(1, A)是否在(1, U)之前到达。