簡體 English 中英

Spark Streaming執行程序任務失敗

[英]Spark Streaming failed executor tasks

原文 2016-10-22 17:58:48 8 1 apache-spark/ spark-streaming

當我在spark UI上查看Jobs選項卡時，我可以看到任務狀態，如20/20 /（4失敗）。

這是否意味着失敗的任務會丟失數據？ 那些失敗的任務不是轉移到差異執行者嗎？

1 個解決方案

雖然您應該警惕失敗的任務（它們經常是潛在內存問題的指示器），但您不必擔心數據丟失。 這些階段已標記為已成功完成，因此失敗的任務實際上（最終）已成功處理。

Spark執行器和任務並發

[英]Spark executor & tasks concurrency

Spark執行程序上的並發任務

[英]Concurrent tasks on a Spark executor

負載下Spark UI中的負活動任務（最大執行程序失敗數）

[英]Negative Active Tasks in Spark UI under load (Max number of executor failed)

spark streaming assertion failed：在輪詢4096后，無法獲得spark-executor-a-group a-topic 7 244723248的記錄

[英]spark streaming assertion failed: Failed to get records for spark-executor-a-group a-topic 7 244723248 after polling for 4096

Spark執行程序如何運行多個任務？

[英]How a Spark executor runs multiple tasks?

Spark不斷向死執行者提交任務

[英]Spark keeps submitting tasks to dead executor

Spark Streaming：執行器與自定義接收器的數量

[英]Spark Streaming : number of executor vs Custom Receiver

Spark Streaming我們可以在執行程序上創建線程嗎

[英]Spark streaming can we create a thread on executor

YARN執行程序日志上的Spark流不可用

[英]Spark streaming on YARN executor's logs not available

火花流失敗的批次

[英]spark streaming failed batches

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 Spark執行器和任務並發 Spark執行程序上的並發任務負載下Spark UI中的負活動任務（最大執行程序失敗數） spark streaming assertion failed：在輪詢4096后，無法獲得spark-executor-a-group a-topic 7 244723248的記錄 Spark執行程序如何運行多個任務？ Spark不斷向死執行者提交任務 Spark Streaming：執行器與自定義接收器的數量 Spark Streaming我們可以在執行程序上創建線程嗎 YARN執行程序日志上的Spark流不可用火花流失敗的批次

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM