使用Kafka主题存储多年数据

Question

我正在寻找一种从多个设备收集指标数据的方法。 数据应该由多个“分组依据”之类的函数聚合。 聚合函数列表不完整，稍后将添加新的聚合，并且需要聚合从第一天开始收集的所有数据。

为此目的，创建具有 100 年有效期的 Kafka 主题并将其用作数据存储是否可以？ 那么新的聚合将能够从主题的开始读取，而现有的聚合将继续从它们的偏移量开始？

Answer 1

原则上，是的，您可以使用 Kafka 进行长期存储，这正是您概述的原因 - 重新处理源数据以获得额外的聚合/计算。

几个参考：

• https://www.confluent.io/blog/okay-store-data-apache-kafka/
• https://www.confluent.io/blog/publishing-apache-kafka-new-york-times/

Answer 2

是的，如果您想保留数据，您可以将保留时间增加到一个较大的值。

我仍然建议对大小制定保留政策，以确保您不会耗尽磁盘空间