Hadoop的輸入和輸出如何工作？

Question

我只是使用本教程在我的本地機器上設置我的單節點Hadoop集群 -

http://ac31004.blogspot.com/2013/10/installing-hadoop-2-on-mac_29.html

在本教程中，我按照以下說明操作：嘗試使用ls hadoop fs -ls

如果你得到

ls：`。'：沒有這樣的文件或目錄

那么hadoop文件系統中沒有主目錄。 所以

hadoop fs -mkdir /user
hadoop fs -mkdir /user/<username>

您登錄到計算機的名稱在哪里。

現在更改為$ HADOOP_INSTALL目錄並上傳文件

hadoop fs -put LICENSE.txt 

當我使用以下命令時：

hadoop jar ./hadoop-mapreduce-examples-2.2.0 wordcount LICENSE.txt out 

它工作，但我無法找到輸出文件夾。 所以要調試我試圖使用另一個輸出文件夾並使用：

hadoop jar ./hadoop-mapreduce-examples-2.2.0 wordcount LICENSE.txt  /Applications/hadoop-2.2.0/out2

這工作正常，但問題是我沒有在應用程序文件夾中找到目錄out2。

然后我在/Applications/hadoop-2.2.0中創建了一個目錄'in'並將README.txt放入其中並嘗試使用以下命令：

hadoop jar ./hadoop-mapreduce-examples-2.2.0.jar wordcount /Applications/hadoop-2.2.0/in/README.txt  /Applications/hadoop-2.2.0/out3

現在我收到一個錯誤：

錯誤security.UserGroupInformation：PriviledgedActionException as：chinmay（auth：SIMPLE）cause：org.apache.hadoop.mapreduce.lib.input.InvalidInputException：輸入路徑不存在：hdfs：// localhost：9000 / Applications / hadoop-2.2。 0 /中/ README.txt中

Answer 1

輸入和輸出文件夾也在HDFS上。 在那里創建它們，而不是在本地文件系統上。