跨 flink 任務管理器平均分配任務槽

Question

我有一個 flink 工作（2 個任務管理器），工作並行度為 64，任務槽為 64。

我為其中一個運算符設置了一個並行度為 16。這個運算符（16 個並行度）插槽沒有均勻地分布在兩個任務管理器中。 它通常需要更高的任務槽，例如一個任務管理器中的 10/11 和另一個任務管理器中的 5/6。

我正在使用 flink 版本 1.11.2。 我嘗試添加 cluster.evenly-spread-out-slots: true 但它不起作用。 非常感謝任何解決方案

Answer 1

我不相信你能做更多的事情。 Flink 調度器將嘗試將消費者任務與其生產者放在一起，以利用網絡堆棧中的優化。 （當兩個通信任務在同一個 JVM 中時，使用共享 memory 代替 netty。）據我了解， cluster.evenly-spread-out-slots: true僅與沒有輸入偏好的源相關。

通常情況下，降低部分作業的並行度會適得其反，因為它會強制進行網絡洗牌（可能會阻止操作員鏈接），並會在任務槽的負載中產生偏差。