Flink集群上的taskmanager被杀死

Question

我正在三个节点的群集上执行Apache Flink程序。 其中之一也可以充当工作经理和任务经理。 其他两个只是任务管理器。

当我启动程序（在jobmanager上执行）时，出现以下错误（在该程序无实际执行一分钟之后）：

java.lang.Exception: TaskManager was lost/killed: c4211322e77548b791c70d466c138a49 @ giordano-2-2-100-1 (dataPort=37904)
at org.apache.flink.runtime.instance.SimpleSlot.releaseSlot(SimpleSlot.java:217)
at org.apache.flink.runtime.instance.SlotSharingGroupAssignment.releaseSharedSlot(SlotSharingGroupAssignment.java:533)
at org.apache.flink.runtime.instance.SharedSlot.releaseSlot(SharedSlot.java:192)
at org.apache.flink.runtime.instance.Instance.markDead(Instance.java:167)
at org.apache.flink.runtime.instance.InstanceManager.unregisterTaskManager(InstanceManager.java:212)
at org.apache.flink.runtime.jobmanager.JobManager.org$apache$flink$runtime$jobmanager$JobManager$$handleTaskManagerTerminated(JobManager.scala:1228)
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1.applyOrElse(JobManager.scala:1131)
at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:36)
at org.apache.flink.runtime.LeaderSessionMessageFilter$$anonfun$receive$1.applyOrElse(LeaderSessionMessageFilter.scala:49)
at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:36)
at org.apache.flink.runtime.LogMessages$$anon$1.apply(LogMessages.scala:33)
at org.apache.flink.runtime.LogMessages$$anon$1.apply(LogMessages.scala:28)
at scala.PartialFunction$class.applyOrElse(PartialFunction.scala:123)
at org.apache.flink.runtime.LogMessages$$anon$1.applyOrElse(LogMessages.scala:28)
at akka.actor.Actor$class.aroundReceive(Actor.scala:467)
at org.apache.flink.runtime.jobmanager.JobManager.aroundReceive(JobManager.scala:125)
at akka.actor.ActorCell.receiveMessage(ActorCell.scala:516)
at akka.actor.dungeon.DeathWatch$class.receivedTerminated(DeathWatch.scala:44)
at akka.actor.ActorCell.receivedTerminated(ActorCell.scala:369)
at akka.actor.ActorCell.autoReceiveMessage(ActorCell.scala:501)
at akka.actor.ActorCell.invoke(ActorCell.scala:486)
at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:238)
at akka.dispatch.Mailbox.run(Mailbox.scala:220)
at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:397)
at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)

其中giordano-2-2-100-1是作业任务管理器的地址。 我将Task Slot的数量设置为等于机器核心（2），并将堆内存设置为与meminfo显示的可用内存相对应。

在执行过程中（出现错误之前），我观察了CPU的使用情况，并注意到作业任务管理器的两个核心正在工作（每个核心至少50％，有时其中一个甚至100％），而另外两个节点（任务管理器）完全免费，CPU使用率约为0％。

我正确设置了jobmanager的rpc地址，并正确填充了slave文件：

giordano-2-2-100-1
giordano-2-2-100-2
giordano-2-2-100-3

此外，我使用来自主节点的ping来验证其他节点是否可以访问并且没有问题，使用来自任务管理器的telnet来验证作业管理器是否可以访问，在这种情况下，一切都还可以。

老实说，我对自己做错的事情一无所知...

此外，我尝试在便携式计算机（双核）上执行该程序，并使用与实际群集相同的配置和相同的jar设置单节点群集。 在这种情况下，一切工作正常，因此我可以确定问题出在工作经理中。

PS在堆栈溢出时，我发现了以下相同问题的答复： TaskManager丢失/被杀死，但我不知道如何设置其他垃圾收集器。

Answer 1

当任务管理器内存不足并且GC花费过多时间尝试释放一些内存时，我就遇到了这个问题。

尝试使用更多的内存或减少任务的内存需求。