KSQL 窗口化查詢的工作原理和最大窗口大小

Question

我有兩個關於在使用窗口的 KSQL wrt 查詢中查詢的問題：

1. 假設我有以下聚合查詢：

   SELECT id, COUNT(*) FROM testtopic_stream WINDOW TUMBLING (SIZE 30 DAYS) GROUP BY id;

上面聚合的結果是僅使用進來的新刻度計算的還是它實際上會遍歷過去 30 天的所有數據然后執行聚合？

2. 查詢的最大可能窗口大小是多少？ 我看到我可以設置一個窗口甚至 30 天，並且查詢現在似乎可以正常工作。 是否有推薦的最大窗口大小？

Answer 1

這取決於auto.offset.reset策略。 如果您將其設置為"earliest" ，則查詢將使用來自底層流/主題的所有數據（請注意，“全部”實際上意味着存儲在主題中的所有數據，即，這取決於主題保留設置多少數據這將會）。 如果您將配置設置為"latest" ——默認值是什么——查詢將僅處理在查詢開始后由上游生產者寫入的數據。

在這兩種情況下，窗口的大小對將要處理的數據沒有影響。

窗口大小沒有限制。 你可以選擇任何你想要的尺寸。 注意：對於滾動窗口，較小的窗口大小實際上會增加存儲需求，而較大的窗口大小會降低存儲需求，因為需要並行維護的窗口較少。