Spark结构化流，执行器由于广播累积而导致内存不足故障
[英]Spark Structured Streaming, Executor out-of-memory failure due to broadcast accumulation
原文
2018-05-18 19:28:44
2
0
apache-spark/
apache-spark-sql/
spark-streaming/
spark-structured-streaming
问题描述
我们的ETL管道正在使用Spark结构化流传输来丰富传入数据（与静态数据帧结合），然后再存储到cassandra中。 当前，查询表是csv文件（在HDFS中），这些文件作为数据帧加载并在每个触发器上与每批数据结合在一起。 查找表数据帧似乎在每个触发器上广播并存储在内存存储中。 这吞噬了执行者的记忆，最终使执行者面临OOM，并被Mesos杀死： 执行者日志
从上面的链接中可以看出，要与之联接的查找表数据帧被存储为广播变量，并且由于OOM而使执行器被杀死。
以下是同时的驱动程序日志： 驱动程序日志
以下是Spark配置： Spark Conf
有没有更好的方法在Spark结构化流中加入静态数据集？ 还是在上述情况下如何避免执行器OOM？
0 个解决方案
如何在Spark结构化流应用程序中优化执行程序实例的数量？
[英]How to optimize number of executor instances in spark structured streaming app?
如何防止 Spark 保留旧数据导致 Spark Structured Streaming 中的 memory 溢出
[英]How to prevent Spark from keeping old data leading to out of memory in Spark Structured Streaming
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.