ksqlDB 用于查找最后一小时的平均值，并将结果存储回 kafka 主题？

Question

我们有一个带有传感器数据的 readpanda（与 kafka 兼容）源。 我们可以做到以下几点：

1. 每小时，查找每个传感器上一小时的平均传感器数据
2. 将它们存储回主题

Answer 1

您希望在可由其他应用程序查询的事件流上创建一个物化视图。 您的源将单个事件发布到 Kafka/Redpanda，另一个进程观察事件并将它们作为可查询的“表”提供给其他应用程序。 详细说明几个选项：

KSQLdb 可能是默认选择，因为它在 Kafka/Confluent 堆栈中以“本机”形式出现。 在生产 Kafka 集群上使用它时要小心。 它对集群性能有很大影响。 请参阅基础教程或高级教程。

对物化视图使用开箱即用的解决方案，例如 Materialise。 它最容易设置/使用，并且不会给 Kafka 代理带来压力。 但是，截至目前 (06/2022)，它只是单节点。 请参阅教程。

另一个流行的选择是使用流处理器并将每小时聚合存储到附加的数据库（例如 Flink 将数据存储到 Redis）。 这是一种自己动手的方法。 看看Hazelcast 。 它是一个同时运行流处理服务和可查询存储的进程。