Apache Flink - 檢查點數據大小在一段時間內增加

Question

我在 AWS 中運行的 Flink 應用程序（版本 1.11.1）中使用事件時間語義 - 運動分析。 此應用程序的源為 kinesis stream，接收器為 Postgres。 當在 notifyCheckpointComplete() 上觸發 DB 接收器時，檢查點間隔為 10 秒。 我使用多個 CoProcessFunction 和 ValueState 來連接不同的流，然后再將其接收到 Postgres。

觀察是檢查點數據大小在一段時間內不斷增長，而線程數和堆 memory 利用率保持不變。 CPU 利用率不會超過 30%。 我希望檢查點數據大小最終會趨於穩定。

在瀏覽 State TTL 上的 flink 文檔時，似乎目前 state ttl 僅支持處理時間語義 - State Time-To-

基於事件時間的 Flink 應用程序的前進方向是什么？

Answer 1

您仍然可以使用 State TTL。 只是 state 保留間隔必須以掛鍾時間表示，而不是與事件中的時間戳相關。

但是，如果您想更好地控制何時以及如何清除 state，您可以在 CoProcessFunctions 中使用計時器來觸發對clear的顯式調用。