Hadoop 2.7.2单节点群集示例失败

Question

我从这里开始跟踪单节点群集示例。 直到执行下的第5步，一切正常，但随后出现以下错误输出：

Asafs-MBP:hadoop-2.7.2 asafchelouche$ bin/hdfs dfs -put etc/hadoop input
16/05/15 17:04:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
put: `input': No such file or directory

不要介意WARN，我已经对其进行了研究，而且似乎没有任何实际的负面影响。

我已经咨询过此问题，但无济于事。 似乎该指令是错误的：在执行的第1步中，您格式化文件系统，因此没有输入文件夹。 另外，应将其写为/input而不是input 。 我在这件事上正确吗？ 当我确实使用/input （在使用bin/hdfs dfs -mkdir /input创建文件夹之后），在出现异常后，我得到了巨大的堆栈跟踪信息（请参见此处 ，放置在这里太长了）。

为什么会这样，我该如何解决？

Answer 1

hdfs dfs -put etc/hadoop input

此命令将尝试将本地文件系统的etc/hadoop文件或目录放入/user/<username>/input HDFS目录。 该用户名通常是您以命令身份运行的用户名。 使用whoami可以解决这个问题。

如果您没有创建该用户目录和后续输入目录，则将看到该错误。

但是，长时间的堆栈跟踪明确表明您有0个数据节点已启动并正在运行，因此该错误似乎未启动HDFS

Answer 2

找到了罪魁祸首-在步骤4中，我需要运行bin/hdfs dfs -mkdir /user/<username> 。 我以为我可以使用任何用户名，但是事实证明，在OS中输入当前正在运行的用户的用户名会使一切正常运行。 不知道为什么这很重要...