本地模式下Apache Flink任務管理器的數量

Question

我正在研究基於Apache Flink（1.5.0）的流應用程序。 為此，我在Windows機器上以本地模式啟動了Flink。

為了以8的並行度運行我的工作，我需要8個任務管理器，每個提供一個任務槽。

我使用以下命令添加了任務管理器：

/cygdrive/b/Binaries Flink/flink-1.5.0/bin/taskmanager.sh' start

前幾次，成功添加了任務管理器，並顯示以下消息：

[INFO] 3 instance(s) of taskexecutor are already running on ... .
Starting taskexecutor daemon on host ... .

有5個任務管理器可用后，我得到了相同的消息

[INFO] 5 instance(s) of taskexecutor are already running on ... .
Starting taskexecutor daemon on host ... .

問題是永遠不會創建第六個任務管理器。 當我停止一個任務管理器時，它會減少到4個，我可以添加一個附加的任務管理器，但不能超過5個。

任務管理器的數量是否有限制？ 有沒有人經歷過類似的行為？

非常感謝你

Answer 1

您可以在本地啟動多少個TaskManager沒有限制。 唯一的限制是您在本地計算機上擁有的可用資源。

如果在Flink 1.5.0中使用獨立模式，則還可以通過flink-conf.yaml添加到flink-conf.yaml來將每個TaskManager的插槽數設置為7 ：

taskmanager.numberOfTaskSlots: 7