簡體   English   中英

使用hadoop和java命令執行map-reduce作業之間有什么區別

[英]what difference between execute a map-reduce job using hadoop and java command

找到許多運行map-reduce程序的選項。 任何人都可以解釋以下命令之間的差異。 如果有的話,會對Map減少工作產生什么影響。

     java -jar MyMapReduce.jar [args] 

     hadoop jar MyMapReduce.jar [args] 

     yarn jar MyMapReduce.jar [args] 

在這些命令中哪一個最好還是其他?

可以使用下面的命令使用Web服務8088(YARN)的端口在Web服務正常上使用Yarn和Job History(如顯示Hadoop和yarn命令)顯示有關作業的所有信息的配置?

     java -jar MyMapReduce.jar [args] 

沒有一個比另一個好。 執行java -jar命令時,它與執行非Hadoop應用程序相同。 如果您使用hadoop jaryarn jar ,它將使用/usr/bin/hadoop/usr/bin/yarn腳本來設置環境。

除非您修改了任何腳本以設置其他變量,否則它們中的三個應該相同。

選項有自己的規格:

   java -jar MyMapReduce.jar [args] 

以上期望所有hadoop jar都在jar的類路徑中定義。

的情況下

   hadoop jar MyMapReduce.jar [args]  and 
   yarn jar MyMapReduce.jar [args] 

上面的jar將通過獲取$ HADOOP_CLASSPATH中預定義的jar來運行。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM