将文件复制到HDFS Hadoop

Question

我目前正在为我的大学演讲之一进行一个项目。 任务是从https://www.gutenberg.org/下载一本书并将其复制到HDFS中。 我试过使用put <localSrc> <dest>但是它根本没有用。 这是我的代码目前在Terminal中的样子：

[cloudera@quickstart ~]$ put <pg16328.txt> <documents>

bash：意外令牌'<'附近的语法错误

任何帮助表示赞赏。 提前致谢。

更新30.05.2017：我已经使用以下链接https://www.cloudera.com/downloads/quickstart_vms/5-10.html来安装Hadoop并且根本没有配置任何东西。 我唯一要做的就是取消教程Getting started 。

Answer 1

应该只是：

hdfs fs -copyFromLocal pg16328.txt /HDFS/path

我不熟悉put命令，但是您是否在没有<>的情况下尝试了它？

Answer 2

如果您已经成功提取并配置了Hadoop ，那么

您应该位于hadoop-home目录（提取和配置hadoop的位置）
然后应用以下命令

bin/hadoop dfs -put <local file location> <hdfs file location>

要么

bin/hdfs dfs -put <local file location> <hdfs file location>

您也可以使用-copyFromLocal命令执行相同的-copyFromLocal 。 只需在上述命令-put -copyFromLocal替换为-copyFromLocal 。

例如 ：
假设您在桌面目录中有pg16328.txt ，那么上面的命令将是

bin/hadoop dfs -put /home/cloudera/Desktop/pg16328.txt /user/hadoop/

/user/hadoop是hdfs的目录
如果/user/hadoop目录不存在，则可以通过以下方式创建它

bin/hadoop dfs -mkdir -f /user/hadoop

您可以使用webUI （ namenodeIP:50070 ）或使用命令行查看上传的文件

bin/hadoop dfs -ls /user/hadoop/