错误火花提交scala，ClassNotFoundException

Question

我正在尝试运行一个scala应用程序，并且在spark-shell中运行良好。 但是当我使用spark-submit并使用我的类时，它将失败。

spark-submit --deploy-mode cluster --master yarn --class org.apache.spark.examples.SparkPi s3n://bucket/test.scala

适用范围：

package org.apache.spark.examples

import org.apache.spark.sql.types._
import org.apache.spark.sql.SQLContext

object SparkPi {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Simple Application")
    val sqlContext = new org.apache.spark.sql.SQLContext(sc)

    print("test")

  }
}

错误：

最终应用程序状态：失败，退出代码：10，（原因：未捕获的异常：java.lang.ClassNotFoundException：org.apache.spark.examples.SparkPi）

Answer 1

尝试使用您的test.scala源构建jar，并将其作为spark-submit的参数提供。 在spark-submit中，应使用编译后的代码（而不是源代码本身）指定一个jar。