kafka日志+如何限制日志大小

Question

在我的ambari群集中（ 版本2.6 ）

我們有主控機和工作機，而在主控機上安裝了卡夫卡

分區/ data僅15G ，kafka日志文件夾為- / data / var / kafka / kafka-logs

/ data / var / kafka / kafka-logs下的大多數文件夾的大小為4K-40K

但是兩個文件夾的大小非常大-5G-7G，這導致/ data為100％

例：

在/data/var/kafka/kafka-logs/mmno.aso.prpl.proces-90下

12K     00000000000000000000.index
1.0G    00000000000000000000.log
16K     00000000000000000000.timeindex
12K     00000000000001419960.index
1.0G    00000000000001419960.log
16K     00000000000001419960.timeindex
12K     00000000000002840641.index
1.0G    00000000000002840641.log
16K     00000000000002840641.timeindex
12K     00000000000004260866.index
1.0G    00000000000004260866.log
16K     00000000000004260866.timeindex
12K     00000000000005681785.index
1.0G    00000000000005681785.log

有可能限制日志的大小嗎？ 或其他解決方案？ 我們的/ data很小，需要的日志不應該是1G大小，如何解決？

Answer 1

Kafka具有許多用於限制日志大小的代理/主題配置。 尤其是：

• log.retention.bytes ：刪除日志之前的最大日志大小
• log.retention.hours ：刪除日志文件之前保留其小時數

請注意，這些並不是硬性限制，因為每個段都會發生刪除，如http://kafka.apache.org/documentation/#impl_deletes中所述 。 這些也是每個主題。 但是通過設置這些，您應該能夠控制數據目錄的大小。

有關log.retention.* / log.roll.* / log.segment.*配置的完整列表，請參見http://kafka.apache.org/documentation/#brokerconfigs log.segment.*