在哪里设置“ spark.yarn.executor.memoryOverhead”

Question

运行我的spark-scala程序时出现以下错误。

YarnSchedulerBackends $ YarnSchedulerEndpoint：容器因超出内存限制而被YARN杀死。 使用了2.6GB的2.5GB物理内存。 考虑提高spark.yarn.executor.memoryOverhead。

创建SparkSession时，已在程序中设置了spark.yarn.executor.memoryOverhead。

我的问题是-创建SparkSession时可以设置“ spark.yarn.executor.memoryOverhead”还是应该在运行时通过spark-submit传递它？

Answer 1

您必须在创建spark.yarn.executor.memoryOverhead时设置spark.yarn.executor.memoryOverhead。 此参数用作要为每个执行程序分配的堆外内存量（以兆字节为单位）。 这是一种内存，用于解决VM开销，内部字符串，其他本机开销等问题。随着执行程序大小的增加（通常为6％至10％），内存通常会增加。

现在，该分配只能在分配执行程序时进行，而不能在运行时进行。