Apache 光束全局计数

Question

我试图了解解决以下问题的最佳方法：

作为简单的示例场景，我有一个文件，它描述了一个测试名称以及它的执行是否通过（真/假）。

test-scenario,passed
--------------------
testA,true
testB,false

使用 apache 光束，我可以读取，将文件解析为PCollection<TestDetails>然后使用后续转换将所有已传递到一组文件的测试详细信息写入一组文件，同样适用于那些失败的测试。

在编写完上述文件后，我最终想生成一些关于：处理的文件记录总数、通过的测试数、失败的测试数并将这些详细信息写入单个文件的计数。

我应该为此使用全局组合吗？

Answer 1

为此，您可以使用 Beam Metrics（请参阅文档）。 它提供了计数器，可用于满足上述需求，然后在管道完成后即可获取指标。 请看一下这个例子。 此外，如果更方便，Beam 允许将指标导出到外部接收器。