[英]How spark manages IO perfomnce if we reduce the number of cores per executor and incease number of executors
根据我的研究，每当我们运行 spark 作业时，我们不应该运行具有超过 5 个内核的执行程序，如果我们将内核增加到超出限制，作业将因糟糕的 I/O 吞吐量而受到影响。
我的疑问是，如果我们增加执行程序的数量并减少内核，即使这些执行程序最终会在同一台物理机器中，并且这些执行程序将从同一个磁盘读取并写入同一个磁盘，为什么这不会导致I/O 吞吐量问题。
可以考虑Apache Spark：核心数量 vs. 执行器数量
用例供参考。
执行器中的核心就像线程。 所以就像如果我们增加并行性可以完成更多的工作一样，我们应该始终牢记它是有限度的。 因为我们必须从这些并行任务中收集结果。
如果我保持核心总数一致，我应该如何选择执行器的数量和每个执行器的核心数？
[英]If I keep the total number of cores consistent, how should I choose the number of executors and number of cores per executor?
如果spark.executor.instances和spark.cores.max不起作用，如何在Spark Standalone模式下增加执行程序的数量
[英]How to increase the number of executors in Spark Standalone mode if spark.executor.instances and spark.cores.max aren't working
调整 Spark：当可用内核不均匀时每个节点的执行器数量
[英]Tuning Spark: number of executors per node when cores available are uneven
给定内核和执行器的数量，如何确定rdd中partd的数量？
[英]How to determine number of partitons of rdd in spark given the number of cores and executors ?
有人可以让我知道如何确定Spark提交作业中的--executor内存和--num-of-executors吗？ -core-of-cores的概念是什么
[英]can someone let me know how to decide --executor memory and --num-of-executors in spark submit job . What is the concept of -number-of-cores
YARN：Spark中执行者数量和执行者核心之间有什么区别？
[英]YARN: What is the difference between number-of-executors and executor-cores in Spark?
为什么Spark每个执行器只使用一个核心？ 它如何决定使用除分区数以外的核心？
[英]Why Spark utilizing only one core per executor? How it decides to utilize cores other than number of partitions?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
