spark.python.worker.memory如何与spark.executor.memory相关？

Question

这个图非常清楚不同YARN和Spark内存相关设置之间的关系，除了涉及spark.python.worker.memory 。

spark.python.worker.memory如何适应这个内存模型？

Python进程是由spark.executor.memory还是yarn.nodemanager.resource.memory-mb ？

更新

此问题解释了设置的作用，但没有回答有关内存管理的问题，或者它与其他内存设置的关系。

Answer 1

从Apache-spark邮件列表中找到此线程 ，看起来spark.python.worker.memory是spark.executor.memory的内存子集。

从线程：“spark.python.worker.memory用于执行者中的Python worker”