啟動並提交工作火花

Question

我嘗試“運行”我的Java應用程序寬度的ClientsArguments作業，進行搜索，發現以下兩種方法： ClientsArguments和SparkLauncher 。

有人可以向我解釋兩者之間的區別嗎？ 啟動和提交作業/應用程序之間的區別Spark？ 謝謝。

Answer 1

SparkLauncher只是用於spark-submit的包裝庫，它SparkLauncher您的SparkLauncher代碼以執行spark-submit 腳本 ，然后觸發作業。

該機制與spark-submit腳本相同，如果您查看SparkLauncher的源代碼，它使用ProcessBuilder構造外殼。

如果要使用SparkLauncher ，則需要指定$JAVA_HOME ， $SPRAK_HOME和其他基本參數。 SparkLauncher有一些限制，您的SparkLauncher運行的機器必須具有$JAVA_HOME和$SPARK_HOME （火花庫），用於SparkLauncher定位腳本和相關的依賴項。 對於某些雲環境（如CloudFoundry等）來說，這是不可能的。

您可以假設SparkLauncher等於spark-submit腳本，可以選擇客戶端或主模式，本地模式或yarn模式。

ClientsArguments是YARN腳本的類，僅適用於yarn-mode。