繁体   English   中英

纱线-Spark Job的执行者

[英]Yarn - executor for spark job

Process spark = new SparkLauncher()
.setAppResource("myApp.jar")
.setMainClass("com.aa.bb.app")
.setMaster("yarn")
.setDeployMode( "cluster")
.addAppArgs( data)
.launch();

这就是我执行火花罐到纱线簇的方式。 以下是一些问题。

  1. 这是由执行者处理吗? (每1个纱线执行器1个火花提交?)
  2. 我应该如何同时执行多火花作业? (我应该在哪里设置动态分配(spark.dynamicAllocation.enabled)?)
  3. 我应该在哪里设置执行程序配置的数量? 用java代码? 在纱xml中?
  4. 如果我将执行者的数量设置为2,并且处理单个作业,其中一位执行者将什么都不做?

为此无需采取任何措施。 它是自动分配的。

在此处输入图片说明

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM