合并多个 flink 作业的 output 并返回单个 output

Question

我有多个 flink 作业，它们具有相同的输入 kafka 主题来源，并且 output 格式也相同。

来源 -> flink 作业 1 -> output
来源 -> flink 作业 2 -> output
来源 -> flink 作业 3 -> output
来源 -> flink 作业 4 -> output
.
.
.
来源 -> flink 作业 n -> output

output 格式类似于Object(pk: String, variable1: String, variable2: Boolean)

我想消耗所有 output 并组合 output 让我们说 Z78E6221F6393D14CE6DZ 数组的 json

最终需要 output (pk: String, variable1: List[String], variable2: List[Boolean])

PS - 根据实现的 flink 作业逻辑，某些 flink 作业可能不会返回 output 用于输入，我使用 scala 作为语言

Answer 1

我设法通过创建另一个作为主作业的 flink 作业来解决这个问题。 该作业的输入是其他 N 个作业的 output。 因为，这些作业具有filter(condition) ，所以我添加了一个带有filter(!condition)的数据流，以确保每个作业都返回 output。 此外，在主作业中添加了一个数据流，用于维护总作业数并将其与主作业数据流connected 。 相同的表示在下图中。 溶液流动