Apache 光束全局計數

Question

我試圖了解解決以下問題的最佳方法：

作為簡單的示例場景，我有一個文件，它描述了一個測試名稱以及它的執行是否通過（真/假）。

test-scenario,passed
--------------------
testA,true
testB,false

使用 apache 光束，我可以讀取，將文件解析為PCollection<TestDetails>然后使用后續轉換將所有已傳遞到一組文件的測試詳細信息寫入一組文件，同樣適用於那些失敗的測試。

在編寫完上述文件后，我最終想生成一些關於：處理的文件記錄總數、通過的測試數、失敗的測試數並將這些詳細信息寫入單個文件的計數。

我應該為此使用全局組合嗎？

Answer 1

為此，您可以使用 Beam Metrics（請參閱文檔）。 它提供了計數器，可用於滿足上述需求，然后在管道完成后即可獲取指標。 請看一下這個例子。 此外，如果更方便，Beam 允許將指標導出到外部接收器。