如何将Spark作业提交给Apache Livy？

Question

我试图了解如何将Spark作业提交给Apache Livy。

我在我的POM.xml中添加了以下API：

 <dependency>
     <groupId>com.cloudera.livy</groupId>
     <artifactId>livy-api</artifactId>
     <version>0.3.0</version>
 </dependency>

 <dependency>
     <groupId>com.cloudera.livy</groupId>
     <artifactId>livy-scala-api_2.11</artifactId>
     <version>0.3.0</version>
 </dependency>

然后在Spark中有以下代码，我想根据请求提交给Livy。

import org.apache.spark.sql.{DataFrame, SparkSession}
import org.apache.spark.sql.functions._

object Test {

  def main(args: Array[String]) {

    val spark = SparkSession.builder()
                            .appName("Test")
                            .master("local[*]")
                            .getOrCreate()


    import spark.sqlContext.implicits._

    implicit val sparkContext = spark.sparkContext

    // ...
  }
}

具有创建LivyClient实例并将应用程序代码上传到Spark上下文的以下代码：

val client = new LivyClientBuilder()
  .setURI(new URI(livyUrl))
  .build()

try {
  client.uploadJar(new File(testJarPath)).get()

  client.submit(new Test())

} finally {
  client.stop(true)
}

但是，问题是Test的代码不适合与Apache Livy一起使用。

我如何调整Test对象的代码以便能够运行client.submit(new Test()) ？

Answer 1

您的Test类需要实现Livy的Job接口，并且需要在Test类中实现其call方法，从那里您可以访问jobContext / SparkContext。 然后，您可以在submit方法中传递Test的实例

您不必自己创建SparkSession，Livy会在集群上创建它，您可以在call方法中访问该上下文。

您可以在此处找到有关Livy编程API的更多详细信息： https : //livy.incubator.apache.org/docs/latest/programmatic-api.html

这是测试类的示例实现：

import com.cloudera.livy.{Job, JobContext}

class Test extends Job[Int]{

  override def call(jc: JobContext): Int = {

    val spark = jc.sparkSession()

    // Do anything with SparkSession

    1 //Return value
  }
}