从本地文件上载hdfs上的数据时出错

Question

嗨，我刚刚开始研究Hadoop。 当我尝试在HDFS上传数据以在hadoop上运行mapreduce作业时。 我遇到了问题。 我运行以下命令

hduser@bharti-desktop:/home/maitreyee/hadoop$ bin/hadoop dfs -copyFromLocal /home/hduser/gutenberg /user/hduser/gutenberg

并在终端弹出以下错误：

14/12/04 16:59:48 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:48 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:48 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:48 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:48 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:48 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:49 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:49 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:49 WARN conf.Configuration: bad conf file: element not <property>

我使用的是ubuntu 12.04 LTS和hadoop 1.2.1。 请建议任何可能的解决方案。 提前致谢。

Answer 1

你没有提供终端的整个错误弹出窗口，所以，

看起来您的hdfs-site.xml或mapred-site.xml或core-site.xml中可能存在一些XML格式错误

Answer 2

我今天遇到了同样的问题。

每次我想使用bin / hdfs dfs命令在HDFS上执行某些操作时，我收到了此警告。 但我仍然能够在HDFS中上传，列出，查看和删除目录和文件。

在core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml和slave之间连续发生错误2小时后...我检查了每个单词的拼写甚至是文件编码既然hdfs.xml声称使用UTF-8但实际上使用ANSI，我终于找到了...这只是因为我忘了放一套

<property> </property>

周围

<name>yarn.resourcemanager.hostname</name>
<value>Jing6.zhu</value>

在yarn-site.xml中......

我建议有此问题的人重命名每个xml文件一次以禁用自定义设置，以测试导致问题的文件。

顺便说一句，我还发现我在mapred-site.xml而不是yarn-site.xml中的日志聚合上放错了一些设置，但它根本没有引起任何警告或错误消息。