YARN 运行应用程序页面中的“Allocated CPU VCores”和 Spark UI Executors 选项卡中的“Cores”存在差异
[英]Discrepancy in “Allocated CPU VCores” in YARN Running applications page and “Cores” in Spark UI Executors tab
问题描述
我在 Spark 2.3 上运行 spark 应用程序，spark.executor.cores 为 25
YARN Running applications 页面中的“Allocated CPU VCores”显示 2 个 VCores（1 个用于驱动程序，1 个用于执行程序）
Spark UI Executors 选项卡中的“Cores”显示 25。我也可以在舞台上看到 25 个并行任务
想知道为什么 Yarn 运行应用程序页面显示误导性的 2 个 VCore。 这是一个已知的错误？
1 个解决方案
解决方案1
0 2021-07-17 06:53:05
我确实在 HDP 上看到了一个错误： https : //jira.pnda.io/browse/PNDA-4006 。 这个错误是在 HDP 2.6.5.0-292 中发现的
Spark - 为我的spark作业分配了多少个执行器和内核
[英]Spark - How many Executors and Cores are allocated to my spark job
YARN：Spark中执行者数量和执行者核心之间有什么区别？
[英]YARN: What is the difference between number-of-executors and executor-cores in Spark?
如何在YARN上启动Spark应用程序之前等待所有执行程序分配？
[英]How to wait until all executors are allocated before Spark application starts on YARN?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.