繁体   English   中英

使用for for循环广播期间Spark任务序列化错误

Spark Task Serialization error during broadcast with in for loop

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我正在尝试在spark中的for循环中广播变量。 在此过程中,spark引发了任务而不是可序列化的错误。 如果从for循环中广播相同的变量,则没有错误。 以下是引发错误的代码段。 任何帮助表示赞赏。

var Final = computedRDD.filter(x => x.Id == uniqueKey(0))

for (partId <- uniqueKey) {
      val FinalBroadcast = sc.broadcast(Final.collect)
      val computeNew = computedRDD.filter(x => x.partId == partId).repartition(executors).mapPartitions(performFinalPass(FinalBroadcast))
      computeNew.collect.forall(x => Final.add(x))
}
问题暂未有回复.您可以查看右边的相关问题.
2 Apache Spark任务序列化

此方法给我一个任务序列化错误: 将底线(返回的内容)更改为: 没有给出错误! 我不明白为什么,有什么区别? 它与通过aggregate操作调用avgDev方法有关,但是我不确定为什么会发生这种情况。 我一直遇到这些问题并不断解决它们,我想知道为什么会这样,所以我可以停止 ...

3 循环使用Spark广播

我正在尝试在一个循环中的多个列上加入2个数据框。 数据帧之一很小,因此我正在使用广播。 在Spark中使用循环广播时,广播是在循环的每次迭代中发送到每个节点还是仅发送一次? ...

5 自定义BiMap类的Spark广播序列化

尝试制作由两个Map组成的Spark广播BiMap。 由于映射从任一方向都是唯一的,因此应序列化的所有内容都是一个Map,实际上仅需要序列化Seq [(K,V)]。 因此,仅基础转发图的元素。 在反序列化中,我们可以重新创建逆Map和索引。 这是建议的设计: 尽管这似乎可行, ...

6 Spark广播/序列化错误

我已经为Mahout作业的Spark版本创建了一个CLI驱动程序,称为“项目相似性”,其中有几个测试都可以在local [4] Spark独立环境下正常工作。 该代码甚至可以读取和写入群集HDFS。 但是切换到集群Spark的问题似乎与广播和/或序列化有关。 该代码使用HashBiMa ...

8 Spark序列化错误

我正在尝试学习spark + scala。 我想阅读HBase,但没有mapreduce。 我创建了一个简单的HBase表-“ test”,并在其中放置了3个放置项。 我想通过spark(没有使用mapreduce的HBaseTest)阅读它。 我试图在shell上运行以下命令 ...

9 Spark序列化错误之谜

假设我有以下代码: 现在我们在Spark中运行以下代码: 上面的代码抛出org.apache.spark.SparkException: Task not serializable 。 我不是在问如何通过扩展Serializable或创建一个case类来解决它 ,我想了解为什么 ...

10 火花串流序列化错误

我在spark-streaming应用程序中遇到了序列化错误。 以下是我的驱动程序代码: 当我在代码中添加以下行 我收到一个错误: 如果我删除这些代码行,它就能正常工作。 问题是因为在rdd中使用了ssc.stop()。 如果它满足条件,我可以从rdd调用一个关 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM