Kafka KStream 到 KStream 加入 | 重啟性能

Question

我計划在很長一段時間內（~1 周）將兩個主題作為 KStreams 加入。 假設這個窗口會累積上億條記錄，那么加入的消費者需要多長時間才能重新啟動？ 我問這個是因為我無法找到有關窗口中的多少記錄存儲在消費者緩存中的信息。

Answer 1

默認情況下，窗口中緩存的數據存儲在 RocksDB 中，即本地磁盤。 因此，在重新啟動時（在同一台機器上）不需要重新加載任何數據，因為數據已經可用。

如果您在另一台機器上重新啟動，則需要從 Kafka 主題（備份存儲以保證容錯性）中重新讀取存儲的全部內容。 這需要多長時間取決於許多因素，而且很難估計。 您可以注冊一個“恢復回調”來監控恢復過程。 這應該給你一些方法來運行一些實驗來了解它可能需要多長時間。