Spark mesos 集群模式比本地模式慢
[英]Spark mesos cluster mode is slower than local mode
問題描述
我提交了相同的 jar 以使用本地模式和 mesos 集群模式運行。 並發現對於某些完全相同的階段，本地模式只需要幾毫秒即可完成，而集群模式則需要幾秒鍾！
列出的是一個例子：階段 659
本地模式：659 來自 [輸出操作 1，批處理時間 17:45:50] 映射在 KafkaHelper.scala:35 +details 2016/03/22 17:46:31 11 ms 的流作業
mesos 集群模式：659 來自 [輸出操作 1，批處理時間 18:01:20] 映射在 KafkaHelper.scala:35 +details 2016/03/22 18:09:33 3 s 的流作業
我從 spark UI 中發現，mesos 集群模式將始終需要 4 秒才能完成 foreachRDD 作業，這是為什么呢？ 任何提交命令選項可以幫助解決這個問題？
提前致謝！
1 個解決方案
解決方案1
2 已采納 2016-03-23 08:12:40
這種行為取決於多種因素。 您沒有指定在哪種集群模式下運行哪種作業以及使用哪種設置。 如果 Slaves 上沒有安裝 Spark，你會看到一個開銷，因為需要下載發行版等。
此外，您使用的 jar 需要分發給執行程序，這也需要一些時間來啟動。
如前所述，這一切都取決於您如何在 Mesos 上運行 Spark。
看
為什么這個 Spark 代碼在本地模式下工作，而不在集群模式下工作？
[英]Why this Spark code works in local mode but not in cluster mode?
在集群模式下在 Spark 的 MongoPartition 中獲取 ClassNotFoundException，在本地模式下，代碼運行良好。 如何解決？
[英]Getting ClassNotFoundException in MongoPartition in Spark in cluster mode, in local mode, code runs fine. How to resolve?
如果未啟動SparkContext，則群集模式下的Spark會引發錯誤
[英]Spark in cluster mode throws error if a SparkContext is not started
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
使用Spark in Cluster模式將文件寫入本地系統
為什么這個 Spark 代碼在本地模式下工作，而不在集群模式下工作？
無法在Spark Kubernetes集群模式下讀取本地文件
在集群模式下在 Spark 的 MongoPartition 中獲取 ClassNotFoundException，在本地模式下，代碼運行良好。 如何解決？
在Spark Submit中訪問Spark集群模式
Spark：在本地模式下廣播使用情況
Spark本地模式下的執行程序數
如果未啟動SparkContext，則群集模式下的Spark會引發錯誤
處於集群 (YARN) 模式時 Spark 上的 Kerberos 問題
紗線群集模式下Spark作業的ClassNotFoundException
相關標簽