有什么好的方法可以監控 apache 光束數據流作業管道 state？

Question

我們有一個我們想使用 StatsDClient 監控的數據流作業，所以我們想通過 StatsDClient 將數據流作業的指標發送到我們的 telegraf 以獲得數據流作業的心跳，以確定數據流作業是否正在運行或失敗，以便我們可以為它設置一些警報。

我們嘗試在主 function 中初始化 StatsDClient 並嘗試通過檢查 PipelineResult.getState() 方法發送指標，但是這種方法對我們不起作用

Answer 1

您可以使用Cloud Monitoring ，而不是使用Dataflow作業中的 state ：

• 指標：數據流作業失敗（例如）
• 基於此指標的警報策略

警報可以發送到PubSub主題。

然后，您可以開發您選擇的PubSub客戶端，該客戶端將使用來自該主題的消息（通過訂閱）並將元素發送給您的客戶端。

警報政策：

Dataflow job failed status有一個內置指標，您可以基於此指標創建警報策略：

然后配置一個閾值：

如果一個Dataflow作業失敗，它將觸發警報。

通知渠道：

對於警報策略，您可以選擇Pub Sub主題。

對於Dataflow作業狀態（不僅是失敗的作業），我在測試版中看到了指標作業/狀態 GA ，但我還沒有使用