知道hadoop中数据节点的磁盘空间吗？

Question

有没有一种方法或任何命令可以用来了解每个数据节点的磁盘空间或总群集磁盘空间？

我尝试了命令

dfs -du -h /

但似乎我没有权限对许多目录执行它，因此无法获取实际的磁盘空间。

Answer 1

您可以在名称节点用户界面的“数据节点”选项卡中查看有关所有数据节点及其磁盘使用情况的信息。 群集磁盘总空间可以在主页的摘要部分中看到。

HTTP：// namenode的-IP：50070

Answer 2

从用户界面：

HTTP：//的NameNode：50070 / dfshealth.html＃标签，数据节点

--->将为您提供有关datanode的所有详细信息。

从命令行：

要获取每个数据节点的磁盘空间：

sudo -u hdfs hdfs dfsadmin -report

--->将为您提供整个HDFS和各个数据节点的详细信息，或者

sudo -u hdfs hdfs dfs -du -h /

--->这将给你的每个文件夹的总磁盘使用根目录下/目录

Answer 3

如果使用配置为简单安全性的Hadoop群集，则可以执行以下命令来获取数据节点的使用情况。

export HADOOP_USER_NAME=hdfs ; 

*以上命令可用于获得简单安全性的管理员特权，如果您将任何其他用户用于hdfs admin，请将hdfs替换为相应的hdfs admin用户。

hadoop dfsadmin -report 

备用选项是登录到相应的datanode并执行以下unix命令以获取该服务器的磁盘利用率。

df -h

Answer 4

Hadoop 3.2.0：

hduser@hadoop-node1:~$ hdfs dfs -df
Filesystem                          Size          Used     Available  Use%
hdfs://hadoop-node1:54310  3000457228288  461352007680  821808787456   15%
hduser@hadoop-node1:~$

对于易于理解的数字，请使用：

hduser@hadoop-node1:~$ hdfs dfs -df -h
Filesystem                  Size     Used  Available  Use%
hdfs://hadoop-node1:54310  2.7 T  429.7 G    765.4 G   15%
hduser@hadoop-node1:~$