启动并提交工作火花

Question

我尝试“运行”我的Java应用程序宽度的ClientsArguments作业，进行搜索，发现以下两种方法： ClientsArguments和SparkLauncher 。

有人可以向我解释两者之间的区别吗？ 启动和提交作业/应用程序之间的区别Spark？ 谢谢。

Answer 1

SparkLauncher只是用于spark-submit的包装库，它SparkLauncher您的SparkLauncher代码以执行spark-submit 脚本 ，然后触发作业。

该机制与spark-submit脚本相同，如果您查看SparkLauncher的源代码，它使用ProcessBuilder构造外壳。

如果要使用SparkLauncher ，则需要指定$JAVA_HOME ， $SPRAK_HOME和其他基本参数。 SparkLauncher有一些限制，您的SparkLauncher运行的机器必须具有$JAVA_HOME和$SPARK_HOME （火花库），用于SparkLauncher定位脚本和相关的依赖项。 对于某些云环境（如CloudFoundry等）来说，这是不可能的。

您可以假设SparkLauncher等于spark-submit脚本，可以选择客户端或主模式，本地模式或yarn模式。

ClientsArguments是YARN脚本的类，仅适用于yarn-mode。