在cloudera Manager中，如何迁移已删除的datanode数据

Question

我已经被“ dfs_hosts_exclude.txt”排除了datanode主机“ dn001”，并且可以正常工作，如何将datanode数据从“ dn001”迁移到其他datanode？

Answer 1

您不必做任何事情。 Hadoop的HDFS应该重新复制数据节点上丢失的所有数据。

从HDFS架构开始-数据磁盘故障，心跳和重复复制

每个DataNode定期向NameNode发送心跳消息。 网络分区可能导致一部分DataNode失去与NameNode的连接。 NameNode通过缺少心跳消息来检测到这种情况。 NameNode将没有最近心跳的DataNode标记为已死，并且不会将任何新的IO请求转发给它们。 已注册到失效DataNode的任何数据不再可用于HDFS。 DataNode死亡可能导致某些块的复制因子降至其指定值以下。 NameNode不断跟踪需要复制哪些块，并在必要时启动复制 。 由于许多原因，可能需要进行重新复制：DataNode可能不可用，副本可能损坏，DataNode上的硬盘可能发生故障或文件的复制因子增加。