負載下Spark UI中的負活動任務（最大執行程序失敗數）
[英]Negative Active Tasks in Spark UI under load (Max number of executor failed)
問題描述
我正在CDH 5.5.0中的Spark 1.5.0上運行Spark Streaming應用程序。 在日志中，我看到執行器的最大數量失敗。 我找不到根本原因。
我們隔兩天間歇性地收到此問題。最終應用程序狀態：失敗，退出代碼：11（原因：執行程序失敗的最大次數）
1 個解決方案
解決方案1
0 2016-09-09 18:19:17
這是一個錯誤，您可以跟蹤以下票證中的更改：
- https://issues.apache.org/jira/browse/SPARK-5098 ，
- https://issues.apache.org/jira/browse/SPARK-10141 ，
- https://issues.apache.org/jira/browse/SPARK-2319
編輯：關於此消息“最大執行者失敗數量” spark.yarn.max.executor.failures具有參數spark.yarn.max.executor.failures 。 默認情況下，執行程序的數量為2倍，最少為3個。如果失敗次數超過此參數中設置的失敗次數，則應用程序將被殺死。
您可以更改此參數的值。 但是我會擔心為什么您有那么多執行器失敗-也許您的內存太少了？ 還是代碼錯誤？ 沒有代碼和/或上下文信息，我們將無法協助調查潛在的錯誤
為什么spark執行器核心與spark web UI中的活動任務不相等？
[英]Why spark executor cores are not equal with active tasks in spark web UI？
來自 Elasticsearch 的 Spark 負載：執行程序和分區的數量
[英]Spark load from Elasticsearch: number of executor and partitions
Spark reparition（）函數增加了每個執行者的任務數量，如何增加執行者的數量
[英]Spark reparition() function increases number of tasks per executor, how to increase number of executor
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.