使用案例類編碼JSON時，為什么錯誤“無法找到存儲在數據集中的類型的編碼器”？

Question

我寫過火花工作：

object SimpleApp {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Simple Application").setMaster("local")
    val sc = new SparkContext(conf)
    val ctx = new org.apache.spark.sql.SQLContext(sc)
    import ctx.implicits._

    case class Person(age: Long, city: String, id: String, lname: String, name: String, sex: String)
    case class Person2(name: String, age: Long, city: String)

    val persons = ctx.read.json("/tmp/persons.json").as[Person]
    persons.printSchema()
  }
}

在IDE中運行main函數時，發生2錯誤：

Error:(15, 67) Unable to find encoder for type stored in a Dataset.  Primitive types (Int, String, etc) and Product types (case classes) are supported by importing sqlContext.implicits._  Support for serializing other types will be added in future releases.
    val persons = ctx.read.json("/tmp/persons.json").as[Person]
                                                                  ^

Error:(15, 67) not enough arguments for method as: (implicit evidence$1: org.apache.spark.sql.Encoder[Person])org.apache.spark.sql.Dataset[Person].
Unspecified value parameter evidence$1.
    val persons = ctx.read.json("/tmp/persons.json").as[Person]
                                                                  ^

但是在Spark Shell中，我可以毫無錯誤地運行這個作業。 問題是什么？

Answer 1

錯誤消息表明Encoder無法接受Person案例類。

Error:(15, 67) Unable to find encoder for type stored in a Dataset.  Primitive types (Int, String, etc) and Product types (case classes) are supported by importing sqlContext.implicits._  Support for serializing other types will be added in future releases.

將case類的聲明SimpleApp的范圍之外。

Answer 2

如果添加你有同樣的錯誤sqlContext.implicits._和spark.implicits._在SimpleApp （順序並不重要）。

刪除一個或另一個將是解決方案：

val spark = SparkSession
  .builder()
  .getOrCreate()

val sqlContext = spark.sqlContext
import sqlContext.implicits._ //sqlContext OR spark implicits
//import spark.implicits._ //sqlContext OR spark implicits

case class Person(age: Long, city: String)
val persons = ctx.read.json("/tmp/persons.json").as[Person]

使用Spark 2.1.0進行測試

有趣的是，如果你添加兩個相同的對象，你就不會有問題。

Answer 3

@Milad Khajavi

在對象SimpleApp之外定義Person case類。 另外，在main（）函數中添加import sqlContext.implicits._。