在集群上運行Apache Spark應用程序時是否可以緩存應用程序jar？
[英]Is it possible to cache the application jar when running Apache Spark applications on a cluster?
問題描述
我有一個Apache Spark MLlib Java應用程序，該應用程序應該在集群上以不同的輸入值運行很多次。 是否可以將應用程序jar緩存在群集上並重新使用以減少啟動時間，網絡負載和組件耦合？
使用過的集群管理器有什么區別嗎？
如果對應用程序jar進行了緩存，是否可以在我的應用程序的不同實例中使用相同的RDD緩存？
1 個解決方案
解決方案1
3 已采納 2014-06-11 17:04:53
Vainilla Spark無法做到這一點（在撰寫本文時-Spark發展迅速）。
Ooyala提供的Spark-JobServer完全可以滿足您的需求。 它向罐子注冊以進行順序作業提交，並提供了按名稱緩存RDD的其他功能。 請注意，在Spark群集上，Spark-JobServer充當Spark驅動程序。 當執行給定任務時，工作人員仍然需要從驅動程序加載jar。
在這里查看文檔： https : //github.com/ooyala/spark-jobserver
使用較舊版本運行Apache Spark最新版本的集群
[英]Running Apache Spark latest version of the cluster with the older version
通過Web應用程序將Apache Spark與HDinsight群集一起使用
[英]Using Apache spark with HDinsight cluster from a web application
Spring Boot Cache + Apache ignite + Spring Boot Actuator - 運行測試時應用程序無法啟動
[英]Spring Boot Cache + Apache ignite + Spring Boot Actuator - Application fail to start when running tests
在運行jar時出錯，但在netbeans / apache poi中運行時卻沒有
[英]outofmemoryerror when running jar but not when running in netbeans/ apache poi
Spark Streaming - Kafka - Java -jar 不工作但由 Java 應用程序運行它工作
[英]Spark Streaming - Kafka - Java -jar not working but running by Java application it works
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
從JAR運行Apache Nutch應用程序時出錯
是否可以在集群環境的應用程序中編寫緩存？
當我在群集上運行jar時出現NoSuchMethodError
使用較舊版本運行Apache Spark最新版本的集群
通過Web應用程序將Apache Spark與HDinsight群集一起使用
Spring Boot Cache + Apache ignite + Spring Boot Actuator - 運行測試時應用程序無法啟動
在Apache Spark上運行JPMML時出現UnmarshalException
在apache點火集群上寫緩存數據時，sql查詢很慢
在運行jar時出錯，但在netbeans / apache poi中運行時卻沒有
Spark Streaming - Kafka - Java -jar 不工作但由 Java 應用程序運行它工作
相關標簽