[英]I am unable to execute a mapreduce job in a Hadoop cluster
$ hadoop jar /usr/lib/hadoop/hadoop-streaming-2.6.0-cdh5.13.0.jar -file mapper.py -mapper mapper.py -file reducer.py -reducer reducer.py -input /user/cloudera/test.txt -output /user/cloudera/result
我正在使用此命令執行 MapReduce 程序,使用 Mapper 作為mapper.py
和 Reducer 作為reducer.py
它拋出一個錯誤Not a valid JAR:/usr/lib/hadoop/hadoop-streaming-2.6.0-cdh5.13.0.jar
我正在使用 MobaXterm 和 VMBox & 我的主目錄是/user/cloudera
,映射程序位置/user/cloudera/mapper.py
減速機位置/user/cloudera/reducer.py
如果您使用cloudera
發行版進行練習,則JAR
將在上述位置/usr/lib/hadoop
中不可用。 hadoop-streaming JAR 將出現在/usr/lib/hadoop-mapreduce/
使用JAR
的更新位置運行,它應該可以正常工作。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.