[英]Yarn - executor for spark job
Process spark = new SparkLauncher()
.setAppResource("myApp.jar")
.setMainClass("com.aa.bb.app")
.setMaster("yarn")
.setDeployMode( "cluster")
.addAppArgs( data)
.launch();
這就是我執行火花罐到紗線簇的方式。 以下是一些問題。
- 這是由執行者處理嗎? (每1個紗線執行器1個火花提交?)
- 我應該如何同時執行多火花作業? (我應該在哪里設置動態分配(spark.dynamicAllocation.enabled)?)
- 我應該在哪里設置執行程序配置的數量? 用java代碼? 在紗xml中?
- 如果我將執行者的數量設置為2,並且處理單個作業,其中一位執行者將什么都不做?
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.