总是给参数 spark.yarn.executor.memoryOverhead 好吗？

Question

我有一个火花应用程序。 由于执行程序内存不足，它有时会下降（一个月一次或两次）。 给 spark.yarn.executor.memoryOverhead 会有所帮助吗？

Answer 1

由于以下原因，可能会发生 Executor 内存不足的情况：

• 高并发
• 低效查询
• 不正确的配置

每个应用程序的内存需求是不同的。 根据要求，每个应用程序都必须进行不同的配置。

根据文档：

spark.yarn.executor.memoryOverhead是每个执行程序要分配的堆外内存量（以兆字节为单位）。 这是用于考虑 VM 开销、内部字符串、其他本机开销等的内存。这往往会随着 executor 的大小（通常为 6-10%）而增长。

因此，在像您这样的情况下，通常建议增加 Spark 执行程序内存，如果在 Yarn 中运行，建议也增加开销内存以避免 OOM（内存不足）问题，因为开销内存用于 JVM 线程，内部元数据等

让我知道它是否有帮助！！