Spark-Yarn群集模式下的动态资源分配

Question

当我使用以下设置启动spark应用程序时（默认为yarn-client模式）可以正常工作

spark_memory_setting="--master yarn --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.yarn.queue=ciqhigh --conf spark.dynamicAllocation.initialExecutors=50 --conf spark.dynamicAllocation.maxExecutors=50 --executor-memory 2G --driver-memory 4G"

问题

而当我将部署模式更改为集群时，应用程序无法启动。 甚至不会抛出任何错误继续前进。

 spark_memory_setting="--master yarn-cluster --deploy-mode=cluster --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.yarn.queue=ciqhigh --conf spark.dynamicAllocation.initialExecutors=50 --conf spark.dynamicAllocation.maxExecutors=50 --executor-memory 2G --driver-memory 4G"

日志

18/01/08 01:21:00 WARN Client：spark.yarn.am.extraJavaOptions在群集模式下不会生效

这是记录器的最后一行。

任何建议最欢迎。

这里要强调的一个重要思想是，正在尝试部署的spark应用程序启动apache节俭服务器。 搜索后，我认为它的节俭原因无法以群集模式运行纱线。 在群集模式下运行的任何帮助。

Answer 1

选项--master yarn-cluster是错误的。.这不是有效的主url，应该只是“ yarn”而不是“ yarn-cluster” ..只是交叉检查。