负载下Spark UI中的负活动任务（最大执行程序失败数）
[英]Negative Active Tasks in Spark UI under load (Max number of executor failed)
问题描述
我正在CDH 5.5.0中的Spark 1.5.0上运行Spark Streaming应用程序。 在日志中，我看到执行器的最大数量失败。 我找不到根本原因。
我们隔两天间歇性地收到此问题。最终应用程序状态：失败，退出代码：11（原因：执行程序失败的最大次数）
1 个解决方案
解决方案1
0 2016-09-09 18:19:17
这是一个错误，您可以跟踪以下票证中的更改：
- https://issues.apache.org/jira/browse/SPARK-5098 ，
- https://issues.apache.org/jira/browse/SPARK-10141 ，
- https://issues.apache.org/jira/browse/SPARK-2319
编辑：关于此消息“最大执行者失败数量” spark.yarn.max.executor.failures具有参数spark.yarn.max.executor.failures 。 默认情况下，执行程序的数量为2倍，最少为3个。如果失败次数超过此参数中设置的失败次数，则应用程序将被杀死。
您可以更改此参数的值。 但是我会担心为什么您有那么多执行器失败-也许您的内存太少了？ 还是代码错误？ 没有代码和/或上下文信息，我们将无法协助调查潜在的错误
为什么spark执行器核心与spark web UI中的活动任务不相等？
[英]Why spark executor cores are not equal with active tasks in spark web UI？
来自 Elasticsearch 的 Spark 负载：执行程序和分区的数量
[英]Spark load from Elasticsearch: number of executor and partitions
Spark reparition（）函数增加了每个执行者的任务数量，如何增加执行者的数量
[英]Spark reparition() function increases number of tasks per executor, how to increase number of executor
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.