为 Object 上的上下文边界提供隐含证据

Question

我试图在一些 Spark Scala 代码中编写一些抽象，但在使用对象时遇到了一些问题。 我在这里使用 Spark 的Encoder ，它用于将案例类转换为数据库模式，但我认为这个问题适用于任何上下文绑定。

这是我正在尝试做的最小代码示例：

package com.sample.myexample

import org.apache.spark.sql.Encoder
import scala.reflect.runtime.universe.TypeTag

case class MySparkSchema(id: String, value: Double)

abstract class MyTrait[T: TypeTag: Encoder]

object MyObject extends MyTrait[MySparkSchema]

失败并出现以下编译错误：

Unable to find encoder for type com.sample.myexample.MySparkSchema. An implicit Encoder[com.sample.myexample.MySparkSchema] is needed to store com.sample.myexample.MySparkSchema instances in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._  Support for serializing other types will be added in future releases.

我尝试像这样定义 object 中的隐式证据：（IntelliJ 建议使用 import 语句，但看起来有点奇怪）

import com.sample.myexample.MyObject.encoder

object MyObject extends MyTrait[MySparkSchema] {
  implicit val encoder: Encoder[MySparkSchema] = Encoders.product[MySparkSchema]
}

哪个失败并显示错误消息

MyTrait.scala:13:25: super constructor cannot be passed a self reference unless parameter is declared by-name

我尝试的另一件事是将 object 转换为 class 并向构造函数提供隐式证据：

class MyObject(implicit evidence: Encoder[MySparkSchema]) extends MyTrait[MySparkSchema]

这编译并工作正常，但以MyObject现在为class为代价。

问题：是否可以在扩展特征时为上下文边界提供隐式证据？ 还是隐含的证据迫使我创建构造函数并改用class ？

Answer 1

您的第一个错误几乎为您提供了解决方案，您必须为产品类型导入spark.implicits._ 。

你可以这样做：

val spark: SparkSession = SparkSession.builder().getOrCreate()
import spark.implicits._

完整示例

package com.sample.myexample

import org.apache.spark.sql.Encoder
import scala.reflect.runtime.universe.TypeTag

case class MySparkSchema(id: String, value: Double)

abstract class MyTrait[T: TypeTag: Encoder]

val spark: SparkSession = SparkSession.builder().getOrCreate()
import spark.implicits._

object MyObject extends MyTrait[MySparkSchema]