远程将作业提交到Azure HDInsight

Question

我已经设置了Azure HDInsight Spark群集。 我想将作业远程发送到我的集群：

import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.SparkConf;

public class App 
{
    public static void main( String[] args )
    {
        SparkConf conf = new SparkConf().setAppName("App").setMaster("spark://12.34.56.78:7077");
        JavaSparkContext sc = new JavaSparkContext(conf);
    }
}

该群集是在纱线模式下创建的。 Spark工人的主人是“ yarn-client”。 直接连接到主机名或IP地址将是理想的。

什么是解决这个问题的好方法？

Answer 1

您不能通过JAVA程序执行此操作，请以编程方式参考此https://docs.microsoft.com/zh-cn/azure/hdinsight/hadoop/submit-apache-hadoop-jobs-programmally

Answer 2

在评论中以其他提交作业的方式回答了您的问题，您可以尝试将REST API Batch Job用于HDInsight Spark，请参考参考https://docs.microsoft.com/zh-cn/rest/api/hdinsightspark / hdinsight-spark-batch-job知道这一点。