spark中的KernelDensity序列化错误

Question

最近我在 Spark 中使用 KernelDensity class，我尝试在 windows10 中将其序列化到我的磁盘，这是我的代码：

// read sample from disk
val sample = spark.read.option("inferSchema", "true").csv("D:\\sample")
val trainX = sample.select("_c1").rdd.map(r => r.getDouble(0))

val kd = new KernelDensity().setSample(trainX).setBandwidth(1)
// Serialization
val oos = new ObjectOutputStream(new FileOutputStream("a.obj"))
oos.writeObject(kd)
oos.close()
// deserialization
val ios = new ObjectInputStream(new FileInputStream("a.obj"))
val kd1 = ios.readObject.asInstanceOf[KernelDensity]
ios.close()
// error comes when I use estimate
kd1.estimate(Array(1,2, 3))

Exception in thread "main" org.apache.spark.SparkException: This RDD lacks a SparkContext. It could happen in the following cases: 
(1) RDD transformations and actions are NOT invoked by the driver, but inside of other transformations; for example, rdd1.map(x => rdd2.values.count() * x) is invalid because the values transformation and count action cannot be performed inside of the rdd1.map transformation. For more information, see SPARK-5063.
(2) When a Spark Streaming job recovers from checkpoint, this exception will be hit if a reference to an RDD not defined by the streaming job is used in DStream operations. For more information, See SPARK-13758.
    at org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$sc(RDD.scala:90)
    at org.apache.spark.rdd.RDD.withScope(RDD.scala:363)
    at org.apache.spark.rdd.RDD.aggregate(RDD.scala:1117)
    at org.apache.spark.mllib.stat.KernelDensity.estimate(KernelDensity.scala:92)
    at KernelDensityConstruction$.main(KernelDensityConstruction.scala:35)
    at KernelDensityConstruction.main(KernelDensityConstruction.scala)
20/05/10 22:05:42 INFO SparkContext: Invoking stop() from shutdown hook

为什么它不起作用？ 如果我不做序列化操作，它工作得很好。

Answer 1

发生这种情况是因为KernelDensity尽管是正式的Serializable ，但并未设计为与标准序列化工具完全兼容。

在内部，它包含对样本的引用，而样本又取决于相应SparkContext 。 换句话说，它是分布式工具，旨在用于单个活动 session 的 scope 内。

鉴于：

• 在调用estimate之前，它不会执行任何计算。
• 它需要样本 RDD 来评估estimate 。

首先序列化它并没有什么意义——您可以在新的上下文中根据所需的参数简单地重新创建 object。

然而，如果你真的想序列化整个事情，你应该创建一个包装器来序列化参数和相应的 RDD（以类似的方式使用分布式数据结构的 ML 模型，如 ALS，工作）并将它们加载回来，在一个新的 session。