Apache Beam / Google数据流 - 错误处理

Question

我有一个管道，有很多步骤（刚好超过15）。 我想在每次DoFn失败时报告失败。 我开始通过TupleTags实现它，代码如下：

try {
 ... do stuff ...
 c.output(successTag, ...);
} catch (Exception e) {
 c.output(failureTag, new Failure(...));
}

但由于我的管道包含很多步骤，这使得管道定义代码很难读取/维护。

是否有更全面的方式来实现它？ 提升在管道级别全局处理的自定义异常之类的东西？

Answer 1

您正在做的是捕获错误并以不同方式输出错误的正确方法。 不过，你会在每一步都需要这个。 如果您愿意，可以使用java模式重用它。 为所有ParDos创建基类，并在processElement中添加异常处理代码。 然后在processElement中调用的单独函数（即processElementImpl）中实现processElement。