本地模式下Apache Flink任务管理器的数量

Question

我正在研究基于Apache Flink（1.5.0）的流应用程序。 为此，我在Windows机器上以本地模式启动了Flink。

为了以8的并行度运行我的工作，我需要8个任务管理器，每个提供一个任务槽。

我使用以下命令添加了任务管理器：

/cygdrive/b/Binaries Flink/flink-1.5.0/bin/taskmanager.sh' start

前几次，成功添加了任务管理器，并显示以下消息：

[INFO] 3 instance(s) of taskexecutor are already running on ... .
Starting taskexecutor daemon on host ... .

有5个任务管理器可用后，我得到了相同的消息

[INFO] 5 instance(s) of taskexecutor are already running on ... .
Starting taskexecutor daemon on host ... .

问题是永远不会创建第六个任务管理器。 当我停止一个任务管理器时，它会减少到4个，我可以添加一个附加的任务管理器，但不能超过5个。

任务管理器的数量是否有限制？ 有没有人经历过类似的行为？

非常感谢你

Answer 1

您可以在本地启动多少个TaskManager没有限制。 唯一的限制是您在本地计算机上拥有的可用资源。

如果在Flink 1.5.0中使用独立模式，则还可以通过flink-conf.yaml添加到flink-conf.yaml来将每个TaskManager的插槽数设置为7 ：

taskmanager.numberOfTaskSlots: 7