flink可以運行多個相同的作業來實現偽動態縮放嗎？

Question

我們正在研究如何對flink任務進行動態縮放。 該任務將要閱讀kafka主題中的流並做...然后沉入另一個kafka主題中。 我們知道，必須先停止flink作業才能修改並行度，這不是我們想要的。

由於我們不能在不停止flink作業的情況下向任務動態添加資源，因此我們可以復制flink作業（通過kafka主題通過相同的groupid進行消耗）以提高性能嗎？ 此外，是否可以使用yarn或kubernetes來管理這些作業，並為flink任務（使用kafka）實現偽動態縮放？

Answer 1

您是否有理由不想通過停止工作來修改並行性？

您可以這樣做，但是您可以有效地將數據拆分到各個作業中。 因此，您不僅要付出代價，現在還需要了解跨多個作業的吞吐量以進行有效的自動縮放，而且這樣做的代價是，所做的任何有狀態處理都將導致錯誤/不一致的結果。