我如何知道在 /mnt/yarn/usercache 和 /var/log/hadoop-yarn/containers 目录中删除什么是安全的？

Question

我有一个在 AWS 上运行的 EMR 集群。 我查看 YARN，发现我的 4 名工人由于以下原因处于“不健康状态”

1/2 local-dirs are bad: /mnt/yarn; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers

因此，我通过 ssh 进入工作节点 -> 运行df并且确定/mnt/yarn了 99% 的磁盘空间。 此外，许多stderror和stdout文件占用了/var/log/hadoop-yarn/containers目录中的大量空间。 我的问题是：什么是可以安全删除的，什么不是？ 我觉得我一直在陷入困境，但在阅读了几个小时后，仍然无法弄清楚如何释放我的工作节点中的磁盘空间。 我一直在阅读有关/mnt/yarn/usercache目录的信息，该目录中的内容似乎是用于运行我的 Spark 应用程序的“本地资源”。 但是/mnt/yarn/usercache/hadoop/filecache和/mnt/yarn/usercache/hadoop/appcache在/mnt/yarn分别占用了 3% 和 96% 的磁盘空间

Answer 1

可能你需要清除这个文件夹 - /var/log/hadoop-yarn/apps/hadoop/logs/

在 HDFS 上。 尝试hdfs dfs -ls /var/log/hadoop-yarn/apps/hadoop/logs查看它。

检查的另一个选项 - /mnt/var/log/hadoop-yarn/containers on executors。

应该有另一个名为“application_someId”的文件夹。 这些文件夹包含已完成和正在运行的 Spark 作业的日志。

Answer 2

是的，您可以删除 /mnt/var/log/hadoop-yarn/containers 中的容器文件（以及那里的日志文件）。我有一个非常相似的问题。

我删除了文件，在 EMR 上停止并重新启动了 spark，我的不健康节点又回来了。