将文件从本地计算机直接复制到远程HDFS群集

Question

我想将文件直接从本地Linux计算机复制到远程HDFS集群，即，我不想将文件复制到远程计算机，然后使用copyfromlocal命令将其移动到HDFS。

为此，我执行了以下命令，该命令是在在线博客中找到的。

cat sample.txt | ssh -tt root@MY_HDFS_CLUSTER "sudo -u hdfs hdfs dfs -put - /user/myuser/data/sample/sample.txt"

我在执行命令时面临的问题是文件已从本地计算机完全复制到远程HDFS群集，但是文件sample.txt。 COPYING是在远程HDFS群集中创建的，而不是在sample.text文件中创建的。 复制过程不确定地运行，换句话说，它不会终止，因此我必须使用Ctrl + C终止该过程。

如果有人帮助我解决此问题，我们将不胜感激。

Answer 1

您的sample.txt文件有多大？ 我认为它可能很大，并且该过程没有终止，因为它实际上尚未完成文件的复制。