我在公司服务器中运行一个Spark Standalone集群,其中有1个主服务器和10个工作器。 根据我的要求,我已经建立了一个Spark jar作业,它将从Azure数据湖存储中读取数据,并使用Spark SQL对它进行一些查询并将结果保存在数据库中。 spark集群中的所有VM都具有Ubuntu。 为了开发火花作业,我使用了带窗户的笔记本电脑,并使用eclipse创建了一个jar并复制到群集的主虚拟机中。 现在要运行作业,我必须打开一个油灰会话以控制群集的VM,然后使用spark-submit提交作业。但是我想要的是使用我运行的java程序触发jar启动群集上的作业我只想运行一个Java程序,即可将jar部署在群集上,而群集在其他地方也是如此。

  ask by translate from so

本文未有回复,本站智能推荐: