由于“源长度不匹配”，导致群集之间的Hadoop复制失败

Question

我想将数据从一个复制到另一个群集。 我用这个命令

hadoop distcp hdfs://SOURCE-NAMENODE:9000/dir/ \ hdfs://DESTINATION-NAMENODE:9000/

我收到此消息：

18/04/11 12:05:37 INFO映射.CopyMapper：将hdfs：// SOURCE-NAMENODE：复制9000 / SOURCE-NAMENODE / WALs / xxxx，18560,1523039740289 / xxxx％2C18560％2C1523039740289.default.1523445499108复制到hdfs： //DESTINATION-NAMENODE:9000/SOURCE-NAMENODE/WALs/xxxx,18560,1523039740289/xxxx%2C18560%2C1523039740289.default.1523445499108 18/04/11 12:05:37 INFO mapred.RetriableFileCopyCommand：创建临时文件：hdfs： //DESTINATION-NAMENODE:9000/.distcp.tmp.attempt_local2084770019_0001_m_000000_0 18/04/11 12:05:38错误util.RetriableCommand：可重试命令失败：复制hdfs：// SOURCE-NAMENODE：9000 / SOURCE-NAMENODE / WAL /xxxx,18560,1523039740289/xxxx%2C18560%2C1523039740289.default.1523445499108到hdfs：// DESTINATION-NAMENODE：9000 / SOURCE-NAMENODE / WALs / xxxx，18560,1523039740289 / xxxx％2C18560％2C1523039740289.default.1523445499 io.IOException：源：hdfs：// SOURCE-NAMENODE：9000 / SOURCE-NAMENODE / WALs / xxxx，18560,1523039740289 / xxxx％2C18560％2C1523039740289.default.1523445499108和目标：hd的长度不匹配 fs：// DESTINATION-NAMENODE：9000 / .distcp.tmp.attempt_local2084770019_0001_m_000000_0 at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.compareFileLengths（RetriableFileCopyCommand.java:193）...

在目标位置，我只看到创建的目录，没有文件。

有任何想法吗？

Answer 1

这可能是由于您正在复制要写入的文件。