Kafka配置僅顯示最后5分鍾的數據

Question

抱歉，我是Kafka的新人，這個問題很簡單，但我需要一些幫助。 我沒有弄清楚一些配置。 有一個流數據，我希望消費者只能看到程序員發送的最后5分鍾的消息。 我正在將Confluent.Kafka用於.Net，

var config = new Dictionary<string, object>{
                {"group.id","Test1Costumers"},
                {"bootstrap.servers",brokerEndpoint},
                { "auto.commit.interval.ms", 60000},
                { "auto.offset.reset", "earliest" }
            };

這是github示例中的Consumers的配置字典，另一個問題是我不想將消息存儲在主題中超過5分鍾，因為如果它們的歷史記錄超過5分鍾，我將不需要這些記錄。

當我配置server.properties時；

# The minimum age of a log file to be eligible for deletion due to age
log.retention.ms=60000

一分鍾后，該文件當前正在使用的拋出錯誤

謝謝您的幫助。

Answer 1

在Kafka server.properties有一個名為log.segment.bytes設置，默認情況下設置為1GB。 一旦日志段達到1GB，它將關閉，並且只有在保留之后才開始。例如，如果您每天產生100MB的消息，並且保留時間為1周，則實際上您將數據保留了大約17天在刪除之前。 這是因為日志段將需要10天才能滿（1GB），並且log.segment.bytes起保留將開始生效。就您而言，我假設您尚未更改log.segment.bytes的值，但您的保留為非常低。 因此，由於日志段尚未關閉，因此無法清理數據。