Mapper或Reducer Task中未处理的异常会使任务失败吗？

Question

我想知道映射器任务（或化简器任务）中未处理的异常是否会使任务失败，或者只忽略特定时间的输入对？ 我猜是前者，但不确定。

Answer 1

这取决于错误。 无论哪种方式，我总是以包装映射和使用try-catch块减少逻辑为重点。 在发生错误时，我增加了一个其名称源自异常类名称的计数器。 这不仅可以保护hadoop的其余部分免受逻辑错误的影响，而且还可以通过查看日志了解出了什么错误。

Answer 2

如果该异常不再发生（即重试将成功），则它将使任务失败，但将重试该任务（或者可以继续并行运行的推测执行）。 如果总是发生异常（例如，输入数据不正确），则重试将继续失败，最终整个工作将失败。