繁体   English   中英

使用hadoop和java命令执行map-reduce作业之间有什么区别

[英]what difference between execute a map-reduce job using hadoop and java command

找到许多运行map-reduce程序的选项。 任何人都可以解释以下命令之间的差异。 如果有的话,会对Map减少工作产生什么影响。

     java -jar MyMapReduce.jar [args] 

     hadoop jar MyMapReduce.jar [args] 

     yarn jar MyMapReduce.jar [args] 

在这些命令中哪一个最好还是其他?

可以使用下面的命令使用Web服务8088(YARN)的端口在Web服务正常上使用Yarn和Job History(如显示Hadoop和yarn命令)显示有关作业的所有信息的配置?

     java -jar MyMapReduce.jar [args] 

没有一个比另一个好。 执行java -jar命令时,它与执行非Hadoop应用程序相同。 如果您使用hadoop jaryarn jar ,它将使用/usr/bin/hadoop/usr/bin/yarn脚本来设置环境。

除非您修改了任何脚本以设置其他变量,否则它们中的三个应该相同。

选项有自己的规格:

   java -jar MyMapReduce.jar [args] 

以上期望所有hadoop jar都在jar的类路径中定义。

的情况下

   hadoop jar MyMapReduce.jar [args]  and 
   yarn jar MyMapReduce.jar [args] 

上面的jar将通过获取$ HADOOP_CLASSPATH中预定义的jar来运行。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM