KafkaJS - 找到偏移最有效的方法

Question

（當涉及到 kafka 和 kafkajs 時，完全是初學者，所以如果這是一個愚蠢的問題，我很抱歉）

我有一個問題，我們有一個保留 48 小時數據（數百萬條記錄）的主題； 我想知道從這個主題中獲取最后“20 分鍾”數據以及 stream 新消息的最佳方法。

此主題中的每條消息都是 JSON 並且具有自紀元 (UTC) 以來的 UNIX 毫秒的時間戳。

性能顯然是這里的一個問題

Answer 1

Java 客戶端中有一個工具可以通過時間戳來尋找偏移量。 為此，KafkaJS 中有一個PR ，但似乎沒有經過驗證和合並。

我想node-rdkafka有它。 下面是一個例子（ 參考）

consumer.offsetsForTimes(
    [ {topic: 'hi', partition: 0, offset: Date.now() - (20*60*1000) } ],
    timeout,
    console.log
);

當你得到偏移量時，你可以尋找它們並開始閱讀。