[英]Multiple executors per worker using YARN and Spark?
在我公司，我們使用舊機器和新機器的組合將非常異構的YARN + Spark集群拼湊在一起。 由於各台計算機的統計信息千差萬別，因此我希望能夠在大型計算機上啟動多個執行程序。 將--num-executors設置--num-executors高於群集中的計算機數不起作用。 我是否需要更改其他設置才能啟用此設置，或者只是不可能？
傳遞--executor-cores選項。 為了獲得良好的性能，此值應為〜4： http ： //www.datarpm.com/resources/achieving-optimal-performance-with-apache-spark1-5/
這將在4個核心機器上啟動一個執行程序，而在16個核心機器上啟動4個執行程序。
如果工作節點上未安裝Spark（在YARN上），則如何啟動Spark Executors？
[英]How are Spark Executors launched if Spark (on YARN) is not installed on the worker nodes?
使用Spark獨立集群如何在工作節點上管理多個執行者？
[英]How multiple executors are managed on the worker nodes with a Spark standalone cluster?
Spark：在一個作業的每個節點上有多個執行程序有什么優勢？
[英]Spark: what's the advantages of having multiple executors per node for a Job?
YARN資源管理器上的Spark：YARN容器和Spark執行器之間的關系
[英]Spark on YARN resource manager: Relation between YARN Containers and Spark Executors
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
