如果spark.executor.instances和spark.cores.max不起作用，如何在Spark Standalone模式下增加执行程序的数量

Question

我四处张望，但找不到所需的答案。 我在独立模式下运行SPARK 1.5.2，SPARK_WORKER_INSTANCES = 1，因为我只希望每台主机每个工人1个执行程序。 我想要增加我的工作的主机数量，从而增加执行者的数量。 我尝试更改spark-defaults.conf中的spark.executor.instances和spark.cores.max，仍然看到相同数量的执行者。 人们建议更改--num-executors，这与spark.executor.instances不同吗？

此Cloudera博客文章http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/说：“ --num-executors命令行标志或spark.executor.instances配置属性控制请求的执行者的数量。从CDH 5.4 / Spark 1.3开始，您可以通过使用spark.dynamicAllocation.enabled属性打开动态分配来避免设置此属性，但是我“ m不知道spark.dynamicAllocation.enabled是否仅适用于YARN。

任何有关如何在Spark 1.5.2上执行此操作的建议都将受到赞赏！

Answer 1

我不认为您需要设置SPARK_WORKER_INSTANCES ！ 如果要使用它，则需要设置SPARK_WORKER_CORES环境变量，否则，最终将导致一个使用所有内核的工作程序。 因此，其他工作人员将无法正确启动！

我还没有在Spark的YARN Configuration之外使用过spark.executor.instances

就是说，我绝对建议您使用--num-executors使您的群集具有多个工作程序！