Apache Beam / Google數據流 - 錯誤處理

Question

我有一個管道，有很多步驟（剛好超過15）。 我想在每次DoFn失敗時報告失敗。 我開始通過TupleTags實現它，代碼如下：

try {
 ... do stuff ...
 c.output(successTag, ...);
} catch (Exception e) {
 c.output(failureTag, new Failure(...));
}

但由於我的管道包含很多步驟，這使得管道定義代碼很難讀取/維護。

是否有更全面的方式來實現它？ 提升在管道級別全局處理的自定義異常之類的東西？

Answer 1

您正在做的是捕獲錯誤並以不同方式輸出錯誤的正確方法。 不過，你會在每一步都需要這個。 如果您願意，可以使用java模式重用它。 為所有ParDos創建基類，並在processElement中添加異常處理代碼。 然后在processElement中調用的單獨函數（即processElementImpl）中實現processElement。