在 spark-shell 和 Scala jars 中使用 Kryo 注册复杂的 scala 类

Question

我有一个新的 spark 2.3.1 应用程序......它运行了一段时间，但现在随着数据量的增加它被破坏了。

原始错误是 kryo 序列化问题... com.esotericsoftware.kryo.KryoException: java.lang.NegativeArraySizeException失败。 最奇怪的部分是它不一致......如果我在我的非共享集群上运行相同的代码、相同的数据，它可能会失败，也可能不会失败，而且看起来完全随机。

我已将2047m从256m （我的默认值）增加到spark.kryoserializer.buffer.max （最大值），只是为了看看会发生什么，但它仍然失败并出现同样的错误。 我还尝试增加失败的 RDD 中的并行度（每个执行器从 3x 增加 6x），但没有运气。

现在我正在尝试在spark-shell --conf spark.kryo.registrationRequired=true中运行代码片段，以查找我需要注册的所有类以在序列化时缩小大小，然后将它们逐渐添加到--conf 'spark.kryo.classesToRegister=org.myOrg.MyClass1,org.myOrg.MyClass2'稍后将它们移动到 jar （ conf.registerKryoClasses(Array(classOf[MyClass1], classOf[MyClass2])) ）他们所有人（比我预期的要多）。

有一个我绝对不知道如何注册。 错误看起来像这样......

Caused by: java.lang.IllegalArgumentException: Class is not registered: org.myOrg.MyClass[]
Note: To register this class use: kryo.register(org.myOrg.MyClass[].class);

我怀疑它是其他一些 class 的参数Iterable[MyClass] ，例如class MyOuterClass(val mcs: Iterable[MyClass])但我尝试注册的所有内容都无法正常工作。 我相信MyClass[]是java.lang.Array[MyClass]但我已经尝试注册我能想到的Array 、 Iterable 、 []等的每个组合，但没有成功注册它。

对于在 spark-shell 的命令行启动和最终在代码中注册Iterable 、 List 、 TupleN的语法有什么建议吗？ 最终我也会有一些非常嵌套的元组，但我还没有走到那一步。

我可以在 stackoverflow 中找到的最接近的结果在这里，但我也无法为我完成这项工作。 在 Spark (Scala) 中需要 kryo 序列化

提前致谢。

编辑

只是为了澄清......在成功注册MyClass后，我仍然收到一条错误消息Class is not registered: MyClass[]我无法弄清楚[]到底是什么或如何注册以使那些 go 消失。

Answer 1

如果您的 class 名称是MyClass ，请尝试使用[LMyClass;

conf.registerKryoClasses(Array( Class.forName("[LMyClass;")))

它应该为MyClass加载和注册数组 class