HDInsight：如何在Spark作业中使用更多核心

Question

我创建了默认的HDInsight Spark集群-2个头节点和4个工作节点。 其中应该有60个内核。

但是，查看正在运行的作业的仪表板，它只给了我15个执行者-这是25％的容量。

有什么办法可以调整吗？

Answer 1

根据您的Spark集群工作负载，您可以确定非默认的Spark配置将导致更优化的Spark作业执行。 使用示例工作负载执行基准测试，以验证所有非默认群集配置。

以下是一些您可以调整的常见参数：

--num-executors设置适当数量的执行程序。

--executor-cores设置每个执行程序的内核数。 通常，您应该具有中型执行程序，因为其他进程会消耗一些可用内存。

--executor-memory设置每个执行程序的内存大小，该大小控制YARN上的堆大小。 您应该留出一些内存用于执行开销。

有关更多详细信息，请参阅针对Spark应用程序优化集群 。