spark.python.worker.memory如何與spark.executor.memory相關？

Question

這個圖非常清楚不同YARN和Spark內存相關設置之間的關系，除了涉及spark.python.worker.memory 。

spark.python.worker.memory如何適應這個內存模型？

Python進程是由spark.executor.memory還是yarn.nodemanager.resource.memory-mb ？

更新

此問題解釋了設置的作用，但沒有回答有關內存管理的問題，或者它與其他內存設置的關系。

Answer 1

從Apache-spark郵件列表中找到此線程 ，看起來spark.python.worker.memory是spark.executor.memory的內存子集。

從線程：“spark.python.worker.memory用於執行者中的Python worker”