Apache Spark任务序列化

Question

此方法给我一个任务序列化错误：

def singleItemPrediction(userid : Int, item : Int) = {

  val userAndItems = useritemrating.filter({x => x._1 == userid && x._2 != item})

  val userMean = userAndItems.aggregate(0.0)((accum, rating) => accum + rating._3, _+_) / userAndItems.count()

  userMean + userAndItems.aggregate(0.0)((accum, ui) => accum + avgDev(userid, item, ui._2), _+_) / userAndItems.count()

}

将底线（返回的内容）更改为：

avgDev(userid, item1, item2), _+_) / userAndItems.count()

没有给出错误！

我不明白为什么，有什么区别？ 它与通过aggregate操作调用avgDev方法有关，但是我不确定为什么会发生这种情况。 我一直遇到这些问题并不断解决它们，我想知道为什么会这样，所以我可以停止犯同样的错误，并反复进行这种修复代码的方案。

Answer 1

您可以使用以下命令启用序列化调试：

-Dsun.io.serialization.extendedDebugInfo =真