從本地文件上載hdfs上的數據時出錯

Question

嗨，我剛剛開始研究Hadoop。 當我嘗試在HDFS上傳數據以在hadoop上運行mapreduce作業時。 我遇到了問題。 我運行以下命令

hduser@bharti-desktop:/home/maitreyee/hadoop$ bin/hadoop dfs -copyFromLocal /home/hduser/gutenberg /user/hduser/gutenberg

並在終端彈出以下錯誤：

14/12/04 16:59:48 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:48 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:48 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:48 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:48 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:48 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:49 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:49 WARN conf.Configuration: bad conf file: element not <property>
14/12/04 16:59:49 WARN conf.Configuration: bad conf file: element not <property>

我使用的是ubuntu 12.04 LTS和hadoop 1.2.1。 請建議任何可能的解決方案。 提前致謝。

Answer 1

你沒有提供終端的整個錯誤彈出窗口，所以，

看起來您的hdfs-site.xml或mapred-site.xml或core-site.xml中可能存在一些XML格式錯誤

Answer 2

我今天遇到了同樣的問題。

每次我想使用bin / hdfs dfs命令在HDFS上執行某些操作時，我收到了此警告。 但我仍然能夠在HDFS中上傳，列出，查看和刪除目錄和文件。

在core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml和slave之間連續發生錯誤2小時后...我檢查了每個單詞的拼寫甚至是文件編碼既然hdfs.xml聲稱使用UTF-8但實際上使用ANSI，我終於找到了...這只是因為我忘了放一套

<property> </property>

周圍

<name>yarn.resourcemanager.hostname</name>
<value>Jing6.zhu</value>

在yarn-site.xml中......

我建議有此問題的人重命名每個xml文件一次以禁用自定義設置，以測試導致問題的文件。

順便說一句，我還發現我在mapred-site.xml而不是yarn-site.xml中的日志聚合上放錯了一些設置，但它根本沒有引起任何警告或錯誤消息。