Hadoop 2.x多節點集群安裝

Question

我是hadoop的新手。 我在網上找到了一些有關hadoop 2.x多節點群集安裝的鏈接。 我的疑問是在所有節點上安裝JVM，創建相同的用戶名，ssh配置，在所有節點上進行配置之后，如何將客戶端計算機連接或配置到集群以將數據從本地復制到hdfs？

Answer 1

首先，將您的本地目錄復制到namenode上沒有被任何Yarn進程使用的目錄：

rsync -a <local_dir> <user>@<namenode>:/path/to/dest/

然后登錄到名稱節點並運行：

hadoop fs -copyFromLocal /path/to/dest hdfs:///path/to/hdfs