每个 Flink 作业运行时都有多个“k8s-ha-app1-jobmanager”配置映射

Question

我在 Kubernetes 之上有一个 Flink session集群，最近我从基于 ZK 的 HA 切换到 Kubernetes HA。

通读
https://cwiki.apache.org/confluence/display/FLINK/FLIP-144%3A+Native+Kubernetes+HA+for+Flink#FLIP144:NativeKubernetesHAforFlink-LeaderElection

我可以在 Flink 命名空间上观察每个资源的配置映射，如上面的文档中所述：

k8s-ha-app1-00000000000000000000000000000000-jobmanager   2      4m35s  
k8s-ha-app1-dispatcher                                    2      4m38s  
k8s-ha-app1-resourcemanager                               2      4m38s  
k8s-ha-app1-restserver                                    2      4m38s

但是，我没有看到“jobmanager”资源的单个配置映射。 我看到的数量与一天中的工作一样多。 这可能是一个很大的数字，因此几天后，这意味着集群命名空间中的配置映射激增。

jobmanager 的不同 HA 配置映射似乎在

“地址”：“akka.tcp://flink@flink-jobmanager:6123/user/rpc/jobmanager_XXX”

（其中 XXX 增加）
和“sessionId”值。

有人可以向我解释一下这些“jobmanager”资源是在什么基础上创建的吗？ 一开始我以为可能会安排清理轮次，但我在文档中读到 HA configmaps 已从所有者中剥离而不是删除。 我是否错过了设置一些东西，以便所有作业都针对同一个 session 运行，或者以某种方式在作业运行后清理这些 k8s-ha-app1-XXXXXXXXXXXXXXXXXXXXX-jobmanager？

Answer 1

Flink 内部的工作方式是Dispatcher为每个提交的作业创建一个专用的JobMaster组件。 该组件需要领导选举，为此它创建了一个k8s-ha-app1-<JOB_ID>-jobmanager配置 map。 这就是您看到创建多个xyz-jobmanager ConfigMap 的原因。

这些 ConfigMap 没有被清理的原因是目前只有在整个集群关闭时才会发生这种情况。 这是一个限制，Flink 社区创建了FLINK-20695来修复它。 这个想法是，在作业到达终端 state 后，可以删除JobMaster相关的 ConfigMap。

有点相关的是另一个限制，它妨碍了 session 集群的正确清理。 如果集群使用 SIGTERM 信号关闭，则目前不能保证所有资源都已清理干净。 有关详细信息，请参阅FLINK-21008 。