Kafka作為未來事件的數據存儲

Question

我有一個Kafka集群，它根據源中的數據更改從源接收消息。 在某些情況下，消息打算在將來進行處理。 所以我有2個選擇：

1. 將所有將來要使用的消息和消息都發送到不同主題下（返回主題名稱中的日期）並發送回Kafka，並具有一個Storm拓撲，其中查找具有該日期名稱的主題。 這樣可以確保僅在預定的日期處理郵件。
2. 將其存儲在單獨的數據庫中，並構建一個計划程序，該計划程序僅在該將來的日期讀取消息並發布到Kafka。

選項1更易於執行，但我的問題是：Kafka是持久的數據存儲嗎？ 有人與Kafka進行過此類賽事嗎？ 設計中是否有任何漏洞？

Answer 1

您可以配置消息在Kafka中停留的時間（log.retention.hours）。

但是請記住，Kafka旨在用作生產者和消費者之間的“實時緩沖區”，而不是用作持久數據存儲區。 我認為Kafka + Storm不是適合您的用例的工具。 為什么不只在某些分布式文件系統中編寫消息，然后安排作業（MapReduce，Spark ...）來處理這些事件？