如何將文件從HDFS復制到遠程HDFS

Question

我想將文件從Hadoop集群復制到遠程集群。

我在遠程集群中有hadoop_conf文件，可以通過設置HADOOP_CONF_DIR.來訪問它HADOOP_CONF_DIR.

我知道遠程名稱節點的IP和端口。

我想通過命名空間復制文件，如下所示。

例如）hadoop fs -cp hdfs：// MyNamespace / path / file hdfs：// RemoteNamespace / path / file

但是，如果不配置hadoop_conf_dir ，則不知道遠程名稱空間；如果在hadoop_conf_dir設置了遠程集群的信息，則無法訪問群集的名稱空間。

請讓我知道該怎么做。

Answer 1

在群集之間進行復制的典型方法是使用distcp 。

$ hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo

有關更多信息，請參見DistCp版本2指南 。