删除HDFS块池

Question

我在Hadoop群集上运行Spark。 我尝试运行Spark作业，发现我遇到了一些问题，最终通过查看数据节点的日志了解到其中一个datanode的文件系统已满

我查看了hdfs dfsadmin -report来确定这一点。 剩余的DFS类别为0B，因为使用的非DFS很大（155GB的193GB配置容量）。

当我查看此数据节点上的文件系统时，我可以看到大部分来自/ usr / local / hadoop_work /目录。 那里有三个块池，其中一个很大（98GB）。 当我查看集群中的另一个数据节点时，它只有一个块池。

我想知道的是，我可以简单地删除其中两个块池吗？ 我假设（但对此还不了解）namenode（我只有一个）将查看最近的块池，该块池的大小较小，并且与另一个数据节点上的块池相对应。

Answer 1

正如上面评论中概述的那样，最终我确实只是删除了两个块池。 我这样做是基于这些块池ID在另一个数据节点中不存在的事实，通过查看本地文件系统，我可以看到这些ID下的文件已经有一段时间没有更新了。