使用Python代码在Hadoop流中运行Wordcount

Question

我正在使用Cloudera-quickstart-vm-5.4.2并尝试执行以下map-reduce命令：

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -input /user/cloudera/input -output /user/cloudera/output_new -mapper /home/cloudera/wordcount_mapper.py -reducer /home/cloudera/wordcount_reducer.py

它在日志中返回很多异常，类似于以下内容：

我不了解如何解决日志中出现的异常。

我已经验证了输入目录的内容

[cloudera@quickstart ~]$ hdfs dfs -ls 
Found 6 items 
drwxr-xr-x - cloudera cloudera 0 2016-02-14 13:59 input
drwxr-xr-x - cloudera cloudera 0 2016-02-14 11:05 output
drwxr-xr-x - cloudera cloudera 0 2016-02-14 14:13 output_new
-rw-r--r-- 1 cloudera cloudera 2561 2016-02-04 20:17 passwd
-rw-r--r-- 1 cloudera cloudera 1073741824 2016-02-13 15:27 sample.txt
-rw-r--r-- 1 cloudera cloudera 20 2016-01-18 19:58 testfile.txt 

在这方面的任何帮助将不胜感激。

提前致谢。

Answer 1

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming-2.6.0-cdh5.13.0.jar -file /home/cloudera/Desktop/mapper.py -mapper /home/cloudera/Desktop/mapper.py -file /home/cloudera/Desktop/reducer.py -reducer /home/cloudera/Desktop/reducer.py -input /wordcount/wc.txt -output / wordcount / output4

请尝试在cloudera VM中使用该命令。 它为我工作。