Spark 结构化流媒体作业卡住了几个小时而没有被杀死

Question

我有一个结构化的流作业，它从 kafka 读取，执行聚合并写入 hdfs。 该作业在纱线中以集群模式运行。 我正在使用 spark2.4。 每 2-3 天，这项工作就会卡住。 它不会失败，但会卡在一些 microbatch microbatch 上。 微批次甚至不会开始。 驱动程序会在数小时内多次打印以下日志。

 Got an error when resolving hostNames. Falling back to /default-rack for all.

当我终止流作业并重新开始时，该作业再次开始正常运行。 如何解决这个问题？

Answer 1

请参阅此问题https://issues.apache.org/jira/browse/SPARK-28005这在 spark 3.0 中已修复。 发生这种情况似乎是因为没有活跃的执行者。