如何使用紗線 rest api 提交作業以激發火花？ 我想使用 YARN REST API 提交作業到 spark

Question

我正在構建一個用於觸發火花作業和檢查作業狀態的界面。

我不能使用像 Livy、spark 作業服務器這樣的 3rd 方庫。 我想通過 REST API 創建用於啟動和提交作業到 spark 集群的 API。

Answer 1

您可以使用火花作業服務器 - https://github.com/spark-jobserver/spark-jobserver

更新 -

沒看到spark job server不能用，可以用下面的

作業提交

curl -X POST http://spark-cluster-ip:6066/v1/submissions/create --header "Content-Type:application/json;charset=UTF-8" --data '{
  "action" : "CreateSubmissionRequest",
  "appArgs" : [ "myAppArgument1" ],
  "appResource" : "file:/myfilepath/spark-job-1.0.jar",
  "clientSparkVersion" : "1.5.0",
  "environmentVariables" : {
    "SPARK_ENV_LOADED" : "1"
  },
  "mainClass" : "com.mycompany.MyJob",
  "sparkProperties" : {
    "spark.jars" : "file:/myfilepath/spark-job-1.0.jar",
    "spark.driver.supervise" : "false",
    "spark.app.name" : "MyJob",
    "spark.eventLog.enabled": "true",
    "spark.submit.deployMode" : "cluster",
    "spark.master" : "spark://spark-cluster-ip:6066"
  }
}

工作現狀

curl http://spark-cluster-ip:6066/v1/submissions/status/driver-20151008145126-0000