如何設置Spark執行器內存？
[英]How to set Spark executor memory?
問題描述
我已將spark.executor.memory設置為2048m ，並在UI“環境”頁面中，我可以看到此值已正確設置。 但是在“Executors”頁面中，我看到只有1個執行程序，其內存為265.4MB 。 非常奇怪的價值。 為什么不是256MB，或者就像我設置的一樣？
我在這里錯過了什么？
2 個解決方案
解決方案1
6 已采納 2015-03-16 13:28:48
UI上的“執行者”選項卡還包括列表中的驅動程序。 其“執行者ID”列為<driver> 。 此過程不是由Spark啟動的，因此不受spark.executor.memory影響。
- 如果你用
spark-submit啟動驅動程序，它的最大內存可以由spark.driver.memory或--driver-memory - 如果以普通的舊Java程序啟動它，請使用通常的
-XmxJava標志。
解決方案2
2 2015-06-04 07:35:44
有關265.4MB內存大小，請參閱以下問題...
如何在 Azure 數據工廠鏈接服務中設置 spark 執行程序內存
[英]How to set spark executor memory in the Azure Data Factory Linked service
如何計算 Executor memory,No of executor,No of executor cores 和 Driver memory 使用 Spark 讀取 40GB 文件？
[英]How to calculate the Executor memory,No of executor ,No of executor cores and Driver memory to read a file of 40GB using Spark?
spark如何管理物理memory、虛擬memory和執行器memory？
[英]How spark manages physical memory, virtual memory and executor memory?
EMR上的pyspark，是否應設置spark.executor.pyspark.memory和executor.memory？
[英]pyspark on EMR, should spark.executor.pyspark.memory and executor.memory be set?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
如何在運行時在 spark 中設置執行程序內存
如何設置 Apache Spark Executor 內存
如何在 Azure 數據工廠鏈接服務中設置 spark 執行程序內存
Spark中如何處理executor內存和driver內存？
如何調整spark執行器編號，內核和執行程序內存？
如何計算 Executor memory,No of executor,No of executor cores 和 Driver memory 使用 Spark 讀取 40GB 文件？
spark中的執行者內存設置
火花執行器記憶減少到1/2
spark如何管理物理memory、虛擬memory和執行器memory？
EMR上的pyspark，是否應設置spark.executor.pyspark.memory和executor.memory？
相關標簽