Apache Flink 度量來計算遲到的元素

Question

我想測量有多少事件在按事件的特定特征分組的允許延遲范圍內到達。 我們假設特定類型的事件有更多的遲到，並希望驗證這一點。

我想到的進行測量的地方是我們在 onElement 方法中的自定義觸發器，因為這是我們知道事件是否遲到的地方。 然而，在 SlidingEventTimeWindows 的情況下，這意味着如果一個元素的延遲超過一個slide ，則可以多次計算它。

有什么建議么？

Answer 1

您可以與窗口分開執行此操作。 您可以將允許的延遲設置為零，並將所有延遲事件轉移到 output 一側。 然后，您可以通過感興趣的功能鍵入延遲事件的 stream，並使用 RichFlatMapFunction 或 KeyedProcessFunction 對事件進行計數，然后可以將其報告為自定義指標，或發送到接收器。