為什么在創建自定義案例類的數據集時“無法找到存儲在數據集中的類型的編碼器”？

Question

Spark 2.0（最終版）和 Scala 2.11.8。 以下超級簡單的代碼產生編譯錯誤Error:(17, 45) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for serializing other types will be added in future releases. Error:(17, 45) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for serializing other types will be added in future releases.

import org.apache.spark.sql.SparkSession

case class SimpleTuple(id: Int, desc: String)

object DatasetTest {
  val dataList = List(
    SimpleTuple(5, "abc"),
    SimpleTuple(6, "bcd")
  )

  def main(args: Array[String]): Unit = {
    val sparkSession = SparkSession.builder.
      master("local")
      .appName("example")
      .getOrCreate()

    val dataset = sparkSession.createDataset(dataList)
  }
}

Answer 1

Spark Datasets需要Encoders用於即將存儲的數據類型。 對於常見類型（原子、產品類型），有許多可用的預定義編碼器，但您必須先從SparkSession.implicits導入它們才能使其工作：

val sparkSession: SparkSession = ???
import sparkSession.implicits._
val dataset = sparkSession.createDataset(dataList)

或者，您可以直接提供一個明確的

import org.apache.spark.sql.{Encoder, Encoders}

val dataset = sparkSession.createDataset(dataList)(Encoders.product[SimpleTuple])

或隱含的

implicit val enc: Encoder[SimpleTuple] = Encoders.product[SimpleTuple]
val dataset = sparkSession.createDataset(dataList)

存儲類型的Encoder 。

請注意， Encoders還提供了許多用於原子類型的預定義Encoders ，以及用於復雜類型的Encoders ，可以通過ExpressionEncoder派生。

進一步閱讀：

• 對於內置編碼器未涵蓋的自定義對象，請參閱如何在數據集中存儲自定義對象？
• 對於Row對象，您必須在嘗試將數據幀行映射到更新行時顯式提供Encoder ，如編碼器錯誤中所示
• 對於調試案例，案例類必須在 Main https://stackoverflow.com/a/34715827/3535853之外定義

Answer 2

對於其他用戶（您的用戶是正確的），請注意，在object范圍之外定義case class也很重要。 所以：

失敗：

object DatasetTest {
  case class SimpleTuple(id: Int, desc: String)

  val dataList = List(
    SimpleTuple(5, "abc"),
    SimpleTuple(6, "bcd")
  )

  def main(args: Array[String]): Unit = {
    val sparkSession = SparkSession.builder
      .master("local")
      .appName("example")
      .getOrCreate()
    val dataset = sparkSession.createDataset(dataList)
  }
}

添加隱式，仍然失敗並出現相同的錯誤：

object DatasetTest {
  case class SimpleTuple(id: Int, desc: String)

  val dataList = List(
    SimpleTuple(5, "abc"),
    SimpleTuple(6, "bcd")
  )

  def main(args: Array[String]): Unit = {
    val sparkSession = SparkSession.builder
      .master("local")
      .appName("example")
      .getOrCreate()

    import sparkSession.implicits._
    val dataset = sparkSession.createDataset(dataList)
  }
}

作品：

case class SimpleTuple(id: Int, desc: String)

object DatasetTest {   
  val dataList = List(
    SimpleTuple(5, "abc"),
    SimpleTuple(6, "bcd")
  )

  def main(args: Array[String]): Unit = {
    val sparkSession = SparkSession.builder
      .master("local")
      .appName("example")
      .getOrCreate()

    import sparkSession.implicits._
    val dataset = sparkSession.createDataset(dataList)
  }
}

這是相關的錯誤： https://issues.apache.org/jira/browse/SPARK-13​​540 ，所以希望它會在 Spark 2 的下一個版本中得到修復。

（編輯：看起來這個錯誤修正實際上是在 Spark 2.0.0 中......所以我不確定為什么這仍然失敗）。

Answer 3

我會用我自己的問題的答案來澄清，如果目標是定義一個簡單的文字 SparkData 框架，而不是使用 Scala 元組和隱式轉換，則更簡單的路線是直接使用 Spark API，如下所示：

  import org.apache.spark.sql._
  import org.apache.spark.sql.types._
  import scala.collection.JavaConverters._

  val simpleSchema = StructType(
    StructField("a", StringType) ::
    StructField("b", IntegerType) ::
    StructField("c", IntegerType) ::
    StructField("d", IntegerType) ::
    StructField("e", IntegerType) :: Nil)

  val data = List(
    Row("001", 1, 0, 3, 4),
    Row("001", 3, 4, 1, 7),
    Row("001", null, 0, 6, 4),
    Row("003", 1, 4, 5, 7),
    Row("003", 5, 4, null, 2),
    Row("003", 4, null, 9, 2),
    Row("003", 2, 3, 0, 1)
  )

  val df = spark.createDataFrame(data.asJava, simpleSchema)