[英]Yarn - executor for spark job
Process spark = new SparkLauncher()
.setAppResource("myApp.jar")
.setMainClass("com.aa.bb.app")
.setMaster("yarn")
.setDeployMode( "cluster")
.addAppArgs( data)
.launch();
这就是我执行火花罐到纱线簇的方式。 以下是一些问题。
- 这是由执行者处理吗? (每1个纱线执行器1个火花提交?)
- 我应该如何同时执行多火花作业? (我应该在哪里设置动态分配(spark.dynamicAllocation.enabled)?)
- 我应该在哪里设置执行程序配置的数量? 用java代码? 在纱xml中?
- 如果我将执行者的数量设置为2,并且处理单个作业,其中一位执行者将什么都不做?
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.