KSQL 窗口化查询的工作原理和最大窗口大小

Question

我有两个关于在使用窗口的 KSQL wrt 查询中查询的问题：

1. 假设我有以下聚合查询：

   SELECT id, COUNT(*) FROM testtopic_stream WINDOW TUMBLING (SIZE 30 DAYS) GROUP BY id;

上面聚合的结果是仅使用进来的新刻度计算的还是它实际上会遍历过去 30 天的所有数据然后执行聚合？

2. 查询的最大可能窗口大小是多少？ 我看到我可以设置一个窗口甚至 30 天，并且查询现在似乎可以正常工作。 是否有推荐的最大窗口大小？

Answer 1

这取决于auto.offset.reset策略。 如果您将其设置为"earliest" ，则查询将使用来自底层流/主题的所有数据（请注意，“全部”实际上意味着存储在主题中的所有数据，即，这取决于主题保留设置多少数据这将会）。 如果您将配置设置为"latest" ——默认值是什么——查询将仅处理在查询开始后由上游生产者写入的数据。

在这两种情况下，窗口的大小对将要处理的数据没有影响。

窗口大小没有限制。 你可以选择任何你想要的尺寸。 注意：对于滚动窗口，较小的窗口大小实际上会增加存储需求，而较大的窗口大小会降低存储需求，因为需要并行维护的窗口较少。