带有Play-json验证的Apache Spark Scala

Question

java.lang.UnsupportedOperationException：不支持类型[trait object]的模式

trait Container {
  def aa: String
  def bb: Int
}

case class First(aa: String, bb: Int) extends Container
case class Second(aa: String, bb: Int) extends Container

implicit val aaContainerFormat: Format[First] = Json.format[First]

implicit val bbContainerFormat: Format[Second] = Json.format[Second]

implicit def nodeContainerReads: Reads[Container] =
  try {
    Json.format[First].map(x => x: Container) or
    Json.format[Second].map(x => x: Container)
  } catch {
    case e: Exception => Reads {
      case _ => JsError(JsonValidationError("Cannot De-serialize value."))
    }
  }

implicit def nodeContainerWrites = new Writes[Container] {
  override def writes(node: Container): JsValue = node match {
    case a: First => Json.toJson(a)
    case b: Second => Json.toJson(b)
    case _ => Json.obj("error" -> "wrong Json")
  }
}

// Example Usage....
val spark: SparkSession = SparkSession.builder.appName("Unit Test").getOrCreate()
val js: Container = First("unit", "test")

spark.createDataFrame(Seq(js))

我期望[Container Object]的数据集的输出，但实际输出是java.lang.UnsupportedOperationException：不支持Container类型的架构。

Answer 1

Spark不使用Play JSON中的类型类将Scala类型转换为Spark SQL类型。 相反，您需要查看Spark编码器 ，它们构成了将Scala类型转换为Spark类型的基础。 如果您将Spark Session包含在范围内，则可以使用import sparkSession.implicits._这样它将自动为您的案例类创建编码器。 我相信Spark不支持开箱即用的求和类型，因此您需要实现自己的Encoder以某种方式以临时方式在Spark中进行建模。 如果要在Spark中编码求和类型，请阅读此处以获取更多信息。