KStream-KStream-Join 連續執行不同結果

Question

因為我不知道我的問題是否會重新打開..這里有一個更精確的問題。

我有 StreamA（包含在 30 分鍾內生產的產品）和 StreamB（包含來自 4 個不同傳感器的測量值，每個測量值每 5 分鍾產生一次）。 這兩個流在一個公共密鑰上連接。 StreamC 是此連接的結果，包含measurementEnrichedProducts。

我有 ~15k 產品和 ~250k 測量。 以下是結果：

---

Run   Num records within StreamC
1     149,389
2     149,362
3     149,363
4     149,411

每次運行都具有完全相同的配置，流 A/B 中的事件也相同。

我真的不知道為什么會這樣。 底層狀態存儲是否可能存在任何問題？

Answer 1

我重新啟動應用程序太快了...

在使用max.task.idle.ms-property 時，我注意到結果是穩定的（每次執行的數量相同）但比以前少。 讓應用程序運行超過 15 分鍾（max.task.idle.ms=600000[10minute]）后，我收到了更多結果，streamC 中的記錄數也很穩定。

再次刪除max.task.idle.ms並等待足夠長的時間會導致相同的結果。

我懷疑問題是由於輸入數據無序和內部緩沖區沒有被填充而發生的。