Mapper或Reducer Task中未處理的異常會使任務失敗嗎？

Question

我想知道映射器任務（或化簡器任務）中未處理的異常是否會使任務失敗，或者只忽略特定時間的輸入對？ 我猜是前者，但不確定。

Answer 1

這取決於錯誤。 無論哪種方式，我總是以包裝映射和使用try-catch塊減少邏輯為重點。 在發生錯誤時，我增加了一個其名稱源自異常類名稱的計數器。 這不僅可以保護hadoop的其余部分免受邏輯錯誤的影響，而且還可以通過查看日志了解出了什么錯誤。

Answer 2

如果該異常不再發生（即重試將成功），則它將使任務失敗，但將重試該任務（或者可以繼續並行運行的推測執行）。 如果總是發生異常（例如，輸入數據不正確），則重試將繼續失敗，最終整個工作將失敗。