将文件从本地复制到HDFS时出现错误

Question

将文件从本地文件系统复制到hdfs时出现错误，
请您帮我一下，
我正在使用此命令：

hadoopd fs -put text.txt file

Answer 1

put和copyFromLocal命令可帮助您将数据从本地系统复制到HDFS，前提是您具有这样做的权限。

hadoop fs -put /path/to/textfile /path/to/hdfs
OR
hadoop dfs -put /path/to/textfile /path/to/hdfs

出现您的错误：

您将上面的命令键入为

hadoopd fs

Answer 2

采用

hadoop dfs -put /text.txt /file

hadoop dfs -put /path/to/local/file /path/to/hdfs/file

Answer 3

您可以使用以下命令

hadoop fs -copyFromLocal text.txt <path_to_hdfs_directory_where_you_want_to_keep_text.txt>

Answer 4

不知道您遇到的具体错误，很难回答。 其他响应者发布了正确的语法。 但是，尝试将文件复制到HDFS时出现权限问题并不少见。

默认情况下，用户和组通常是“ hdfs”和“ supergroup”。 您的用户帐户可能不属于“超级组”，并且会出现权限被拒绝的错误。 尝试以以下方式运行命令：

sudo -u hdfs hadoop fs -put /path/to/local/file /path/to/hdfs/file

要么

sudo -u hdfs hadoop dfs -put /path/to/local/file /path/to/hdfs/file 

您可以通过将HDFS上目标目录的所有权和权限更改为更宽松的方式来解决此问题。

Answer 5

“ DataStreamer异常：org.apache.hadoop.ipc.RemoteException：java.io.IOException：文件/ user / hduser / myfile只能复制到0个节点，而不是org.apache.hadoop.hdfs.server.namenode上的1个节点.FSNamesystem.getAdditionalBlock”。 由此，我想知道您的数据节点未运行/正确运行。 在集群用户界面中进行检查，然后尝试

hadoop dfs -put / path / file / hdfs / file（hadoop YARN）hadoop fs -copyFromLocal / path / file / hdfs / file（hadoop1.x）