flink可以运行多个相同的作业来实现伪动态缩放吗？

Question

我们正在研究如何对flink任务进行动态缩放。 该任务将要阅读kafka主题中的流并做...然后沉入另一个kafka主题中。 我们知道，必须先停止flink作业才能修改并行度，这不是我们想要的。

由于我们不能在不停止flink作业的情况下向任务动态添加资源，因此我们可以复制flink作业（通过kafka主题通过相同的groupid进行消耗）以提高性能吗？ 此外，是否可以使用yarn或kubernetes来管理这些作业，并为flink任务（使用kafka）实现伪动态缩放？

Answer 1

您是否有理由不想通过停止工作来修改并行性？

您可以这样做，但是您可以有效地将数据拆分到各个作业中。 因此，您不仅要付出代价，现在还需要了解跨多个作业的吞吐量以进行有效的自动缩放，而且这样做的代价是，所做的任何有状态处理都将导致错误/不一致的结果。