在spark-shell中使用全局对象时隐式val序列化

Question

我不清楚为什么（不可序列化）隐式val在这里被序列化（抛出异常）：

implicit val sc2:SparkContext = sc
val s1 = "asdf"
sc.parallelize(Array(1,2,3)).map(x1 => s1.map(x => 4))

但是当s1的值在闭包的范围内时：

implicit val sc2:SparkContext = sc
sc.parallelize(Array(1,2,3)).map(x1 => "asdf".map(x => 4))

我的用例显然更复杂，但我将其归结为这个问题。

（解决方案是将隐式val定义为@transient）

Answer 1

这取决于这些行所在的范围 ：

让我们看一下三个选项-在method中 ，在没有s1的类中 ，以及在s1的类中 ：

object TTT {

  val sc = new SparkContext("local", "test")

  def main(args: Array[String]): Unit = {
    new A().foo()  // works
    new B          // works
    new C          // fails
  }

  class A {
    def foo(): Unit = {
      // no problem here: vars in a method can be serialized on their own
      implicit val sc2: SparkContext = sc
      val s1 = "asdf"
      sc.parallelize(Array(1, 2, 3)).map(x1 => s1.map(x => 4)).count()
      println("in A - works!")
    }
  }

  class B {
    // no problem here: B isn't serialized at all because there are no references to its members
    implicit val sc2: SparkContext = sc
    sc.parallelize(Array(1, 2, 3)).map(x1 => "asdf".map(x => 4)).count()
    println("in B - works!")
  }

  class C extends Serializable {
    implicit val sc2: SparkContext = sc
    val s1 = "asdf" // to serialize s1, Spark will try serializing the YYY instance, which will serialize sc2
    sc.parallelize(Array(1, 2, 3)).map(x1 => s1.map(x => 4)).count() // fails
  }

}

底线-是否隐含，只有当s1和sc2是类的成员时，该操作才会失败，这意味着该类必须进行序列化，并使用它们“拖动”它们。

Answer 2

范围是火花壳REPL。 在这种情况下，仅当sc2（以及在顶级REPL范围中定义的任何其他隐式val）是隐式的并且与RDD操作中使用的该范围的另一个val时才被序列化。 这是因为隐式值需要全局可用，因此会自动序列化到所有工作程序节点。