YARN RM 没有释放资源

Question

我正在使用纱线作为资源管理器（RM）运行火花。 我提交的应用程序的最大尝试次数为 2，即spark.yarn.maxAppAttempts=2 。由于 memory 问题，其中一个应用程序正在处理大约 3 TB 的数据，尝试 1 失败（在处理 10 个表中的 5 个表之后）并尝试2 开始。 即使尝试 1 失败 YARN 也没有释放资源（执行程序）以将其用于尝试 2。不理解为什么 YARN 不释放资源。 下面是conf。

spark.executor.memory=30G
spark.executor.cores=5
spark.executor.instances=95
spark.yarn.executor.memoryOverhead=8G

可用的执行器总数为 100 个，其中我尝试使用 95 个，尝试 1 个尝试使用所有 95 个执行器。 尝试 1 失败后，尝试 2 以 5 个执行者开始。 根据我的理解，尝试 2 应该从尝试 1 的 95 个执行者开始，因为尝试 1 失败，并且所有资源都应该可用于尝试 2。