我正在使用HA实现Flink独立集群。 当我失败一个作业管理器时,另一个备用作业管理器会占据其位置。 但是当我检查任务管理器的日志以查看在切换过程中发生了什么时,我观察到,Flink尝试重新连接到旧作业管理器(失败)6次尝试增加超时(500,1000,2000,4000, 8000,16000)毫秒。

我可以通过Flink配置文件减少此次尝试次数,以便尽可能快地连接到新的作业管理器吗? 我必须做什么设置?

  ask by kadsank translate from so

本文未有回复,本站智能推荐:

1回复

尝试为检查点作业启动flink作业主服务器的超时

我正在尝试设置flink从检查点恢复。 在大多数情况下,这似乎可行,但是在将其部署到我们的临时环境大约一周后,由于尝试启动作业的“作业主”时超时,作业管理器已开始崩溃循环。 我正在将以高可用性模式部署的flink 1.7.2与zookeeper 3.4.9-1757313一起使用,只是为
1回复

每个 Flink 作业运行上的多个“k8s-ha-app1-jobmanager”配置映射

我在 Kubernetes 之上有一个 Flink会话集群,最近我从基于 ZK 的 HA 切换到了 Kubernetes HA。 通读 https://cwiki.apache.org/confluence/display/FLINK/FLIP-144%3A+Native+Kubernetes+H
1回复

flink 事件正在进入 jobmanager 而不是集群中的 taskmanager

我正在尝试在集群上运行 flink 应用程序。 应用程序部署成功,我可以看到 jobmanger 和 taskmanager 正在运行并且资源注册成功完成。 应用程序需要虚拟事件并且它工作正常并且 sql 查询也返回结果(通过任务管理器)。 问题:应用程序从消息中心接收事件,但这些消息仅与 jo
1回复

是否可以在 Flink 的 Job Manager 中运行一个简单的作业?

我编写了一个 Flink 作业,它从 Kafka 读取数据并以 ORC 格式写入 hdfs 文件以用于 HIVE(使用 20 个执行程序)。 我需要运行一个简单的作业,每小时将分区插入到 HIVE 表中。 是否可以在作业管理器中运行这个简单的分区添加作业?
1回复

如何让TaskManager容器注册到Flink的Job Manager容器?

第一次尝试使用 flink docker 镜像。 我正在按照https://hub.docker.com/_/flink上的说明进行操作,其中说 您可以运行 JobManager(主)。 $ docker run --name flink_jobmanager -d -t flink job
1回复

嵌入式Flink实例上的JobManager在哪里?

我正在开发具有多个(微)服务的应用程序。 我正在使用Flink(通过Kafka)在服务之间流式传输消息。 Flink嵌入在Java应用程序中,每个应用程序都在单独的docker容器中运行。 这是我第一次尝试Flink,在阅读了文档之后,我仍然感觉到我缺少一些基本的知识。 谁来管理工
1回复

如何在Mesos Flink群集中实现JobManager高可用性?

Flink官方文档为Standalone And Yarn Flink群集提供了Jobmanager高可用性解决方案。 但是,使用Mesos Flink群集如何实现高可用性? 我了解到Flink依靠Marathon来启动失败的JobManager,但这带来了一个问题:每次jobmanag
3回复

如何在 Flink 中为 MapState 中的所有项目设置 TTL?

我想在给定的时间戳MapState中的所有条目。 我正在考虑两种方法: 将cleanup timestamp在ValueState ,为cleanup timestamp注册一个计时器,当计时器触发时清除MapState 。 尽管cleanup timestamp可能相同,但对于添加到Map