CPU vCores 和 spark executor-cores 之間的關系

Question

我正在啟動一個帶有 m5.xlarge 核心節點的 EMR 集群，如下所示：

4 vCore, 16 GiB memory, EBS only storage
EBS Storage:200 GiB

我不確定我是否運行了 Spark 作業並設置了 executor-core 參數，例如 2。如果這與我的 m5.xlarge 實例中的 vCores 完全相同？

Answer 1

每個 executor 的核心將在您的集群中使用一個 vCore，因此創建 4 個 executor 每個有 1 個核心或 2 個 executor 每個有 2 個核心或 1 個 executor 有 4 個核心。 享受！

Answer 2

對於大多數實例，AWS 將 1 個核心定義為 1vCPU。 我相信這與 vCore 相同

““除了 T2，每個 vCPU 都是一個英特爾至強核心的超線程。”

換句話說，對於 T2 實例，1 個 vCPU = 1 個物理核心。 對於所有其他人，1 個 vCPU = 1 個邏輯核心。 當涉及到多線程、突發 CPU 使用時，這可能會導致顯着的性能差異。”

參考： https : //www.credera.com/insights/whats-in-a-vcpu-state-of-amazon-ec2-in-2018# :~: text=%E2%80%9CEach%20vCPU%20is% 20a%20hyper,%2Dthreaded%2C%20burst%20CPU%20usage 。