Databricks Apache Spark 1.4：任务不可序列化（Scala）

Question

我在数据块中创建了两个不同的Scala笔记本。 一种是基于LDA模型来计算主题，另一种是无需任何事先计算即可获得的全新笔记本。

当我在第一个笔记本中运行以下代码时：

val b = sc.parallelize(Array(1,2,3))
val c: Int = 4
def add (x:org.apache.spark.rdd.RDD[Int]) = { x.map( n => n + c) }

add(b).collect()

我收到“任务不可序列化”错误。 当我在另一个笔记本中运行同一程序时，它没有任何问题。

有人可以建议点什么吗？

org.apache.spark.SparkException: Task not serializable
    at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:315)
    at org.apache.spark.util.ClosureCleaner$.org$apache$spark$util$ClosureCleaner$$clean(ClosureCleaner.scala:305)
    at org.apache.spark.util.ClosureCleaner$.clean(ClosureCleaner.scala:132)
    at org.apache.spark.SparkContext.clean(SparkContext.scala:1891)
    at org.apache.spark.rdd.RDD$$anonfun$map$1.apply(RDD.scala:294)
    at org.apache.spark.rdd.RDD$$anonfun$map$1.apply(RDD.scala:293)
    at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:148)
    at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:109)
    at org.apache.spark.rdd.RDD.withScope(RDD.scala:286)
    at org.apache.spark.rdd.RDD.map(RDD.scala:293)
    at Notebook.add(<console>:71)
Caused by: java.io.NotSerializableException: org.apache.spark.mllib.clustering.LDA
Serialization stack:
    - object not serializable (class: org.apache.spark.mllib.clustering.LDA, value: org.apache.spark.mllib.clustering.LDA@e9ea392)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC$$iwC$$iwC$$iwC, name: lda, type: class org.apache.spark.mllib.clustering.LDA)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC$$iwC$$iwC$$iwC@6c9743ba)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC$$iwC$$iwC@1a68799b)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC$$iwC@5abdbef3)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC@230d550a)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd814.$read, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd814.$read$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd814.$read, linee339bfc6d4e74d779737c9ccd8c21fd814.$read@35d711b2)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8154.$read$$iwC$$iwC$$iwC, name: $VAL2947, type: class linee339bfc6d4e74d779737c9ccd8c21fd814.$read)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8154.$read$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8154.$read$$iwC$$iwC$$iwC@25f85bf4)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8154.$read$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8154.$read$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8154.$read$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8154.$read$$iwC$$iwC@d5ed125)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8154.$read$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8154.$read$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8154.$read$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8154.$read$$iwC@dca05ea)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8154.$read, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8154.$read$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8154.$read, linee339bfc6d4e74d779737c9ccd8c21fd8154.$read@3f1acd5c)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $VAL2958, type: class linee339bfc6d4e74d779737c9ccd8c21fd8154.$read)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@45b864dc)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@5e9e8fc8)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@1e884b86)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@5e402ceb)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@25c3414e)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@229fc9e7)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@3ece12aa)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC@7e3871b5)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC@4e4a1d12)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC@737adcd4)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC@4e8583f0)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC@ec97a95)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8155.$read, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read, linee339bfc6d4e74d779737c9ccd8c21fd8155.$read@6bfa0665)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $VAL2973, type: class linee339bfc6d4e74d779737c9ccd8c21fd8155.$read)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@44fb0e14)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@4e127fe)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@5468a425)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@4442dbb1)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@17cf077d)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@612d11b5)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@4aee6cf4)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC@6987d7f7)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC@446be1f9)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC@216afbd8)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC@669792e8)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC@8ba6572)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8158.$read, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read, linee339bfc6d4e74d779737c9ccd8c21fd8158.$read@5725949f)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $VAL2987, type: class linee339bfc6d4e74d779737c9ccd8c21fd8158.$read)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@2da782a3)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@79a9a8ca)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@536a7276)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@b885215)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@14ccdc86)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@53d95ae)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)
    - object (class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC@2741a6e0)
    - field (class: linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC, name: $iw, type: class linee339bfc6d4e74d779737c9ccd8c21fd8161.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC)

Answer 1

首先，这是spark-shell控制台的错误（ 此处类似问题）。 它不会在您通过spark-submit实际scala代码中复制。 问题出在闭包中： map( n => n + c) 。 Spark必须进行序列化并将值c发送给每个工作人员，但是c驻留在控制台中的某些包装对象中。 有时该对象的行为非常奇怪 。 例如，当我第一次运行您的示例时，我遇到了相同的错误。 然后我用val c = 4代替val c: Int = 4我没有错误。

不幸的是，我不知道这里的准确解决方法。 我只能建议您将要在rdd转换中使用的所有内容（映射，过滤器等）自己包装在对象中。 例如：

scala> val b = sc.parallelize(Array(1,2,3))
b: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:21

scala> object Foo { val c: Int = 4}
defined module Foo

scala> def add (x:org.apache.spark.rdd.RDD[Int]) = { x.map( n => n + Foo.c) }
add: (x: org.apache.spark.rdd.RDD[Int])org.apache.spark.rdd.RDD[Int]

scala> add(b).collect()
....
res0: Array[Int] = Array(5, 6, 7)