繁体 English 中英

Spark Streaming执行程序任务失败

[英]Spark Streaming failed executor tasks

原文 2016-10-22 17:58:48 0 1 apache-spark/ spark-streaming

当我在spark UI上查看Jobs选项卡时，我可以看到任务状态，如20/20 /（4失败）。

这是否意味着失败的任务会丢失数据？ 那些失败的任务不是转移到差异执行者吗？

1 个解决方案

虽然您应该警惕失败的任务（它们经常是潜在内存问题的指示器），但您不必担心数据丢失。 这些阶段已标记为已成功完成，因此失败的任务实际上（最终）已成功处理。

Spark执行器和任务并发

[英]Spark executor & tasks concurrency

Spark执行程序上的并发任务

[英]Concurrent tasks on a Spark executor

负载下Spark UI中的负活动任务（最大执行程序失败数）

[英]Negative Active Tasks in Spark UI under load (Max number of executor failed)

spark streaming assertion failed：在轮询4096后，无法获得spark-executor-a-group a-topic 7 244723248的记录

[英]spark streaming assertion failed: Failed to get records for spark-executor-a-group a-topic 7 244723248 after polling for 4096

Spark执行程序如何运行多个任务？

[英]How a Spark executor runs multiple tasks?

Spark不断向死执行者提交任务

[英]Spark keeps submitting tasks to dead executor

Spark Streaming：执行器与自定义接收器的数量

[英]Spark Streaming : number of executor vs Custom Receiver

Spark Streaming我们可以在执行程序上创建线程吗

[英]Spark streaming can we create a thread on executor

YARN执行程序日志上的Spark流不可用

[英]Spark streaming on YARN executor's logs not available

火花流失败的批次

[英]spark streaming failed batches

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 Spark执行器和任务并发 Spark执行程序上的并发任务负载下Spark UI中的负活动任务（最大执行程序失败数） spark streaming assertion failed：在轮询4096后，无法获得spark-executor-a-group a-topic 7 244723248的记录 Spark执行程序如何运行多个任务？ Spark不断向死执行者提交任务 Spark Streaming：执行器与自定义接收器的数量 Spark Streaming我们可以在执行程序上创建线程吗 YARN执行程序日志上的Spark流不可用火花流失败的批次

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM