將文件從本地計算機直接復制到遠程HDFS群集

Question

我想將文件直接從本地Linux計算機復制到遠程HDFS集群，即，我不想將文件復制到遠程計算機，然后使用copyfromlocal命令將其移動到HDFS。

為此，我執行了以下命令，該命令是在在線博客中找到的。

cat sample.txt | ssh -tt root@MY_HDFS_CLUSTER "sudo -u hdfs hdfs dfs -put - /user/myuser/data/sample/sample.txt"

我在執行命令時面臨的問題是文件已從本地計算機完全復制到遠程HDFS群集，但是文件sample.txt。 COPYING是在遠程HDFS群集中創建的，而不是在sample.text文件中創建的。 復制過程不確定地運行，換句話說，它不會終止，因此我必須使用Ctrl + C終止該過程。

如果有人幫助我解決此問題，我們將不勝感激。

Answer 1

您的sample.txt文件有多大？ 我認為它可能很大，並且該過程沒有終止，因為它實際上尚未完成文件的復制。