簡體   English   中英

紗線-Spark Job的執行者

[英]Yarn - executor for spark job

Process spark = new SparkLauncher()
.setAppResource("myApp.jar")
.setMainClass("com.aa.bb.app")
.setMaster("yarn")
.setDeployMode( "cluster")
.addAppArgs( data)
.launch();

這就是我執行火花罐到紗線簇的方式。 以下是一些問題。

  1. 這是由執行者處理嗎? (每1個紗線執行器1個火花提交?)
  2. 我應該如何同時執行多火花作業? (我應該在哪里設置動態分配(spark.dynamicAllocation.enabled)?)
  3. 我應該在哪里設置執行程序配置的數量? 用java代碼? 在紗xml中?
  4. 如果我將執行者的數量設置為2,並且處理單個作業,其中一位執行者將什么都不做?

為此無需采取任何措施。 它是自動分配的。

在此處輸入圖片說明

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM