Hadoop Map-Reduce輸出文件異常

Question

我在亞馬遜d2.2Xlarge上運行單節點hadoop集群時遇到此錯誤。我也無法查看我的輸出。有人可以為我提供解決此問題的適當步驟嗎？

"Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not
 find any valid local directory for output/file.out"

這是我執行的步驟。

bin/hdfs dfsadmin -safemode leave                            
bin/hadoop fs -mkdir /inputfiles    
bin/hadoop dfsadmin -safemode leave    
bin/hadoop fs -mkdir /output    
bin/hdfs dfsadmin -safemode leave       
bin/hadoop fs -put input1 /inputfiles    
bin/hdfs dfsadmin -safemode leave   
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  
wordcount /inputfiles /output

Answer 1

您不應該為Map Reduce作業創建輸出目錄。

刪除此命令

bin/hadoop fs -mkdir /output  

並將最后一個命令更改為

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  
wordcount /inputfiles /output1

確保您有權在/下創建output1

如果沒有，我更喜歡下面的目錄結構。

/home/your_user_name/input用於輸入目錄文件和

/home/your_user_name/output用於輸出目錄。