kafka日志+如何限制日志大小

Question

在我的ambari群集中（ 版本2.6 ）

我们有主控机和工作机，而在主控机上安装了卡夫卡

分区/ data仅15G ，kafka日志文件夹为- / data / var / kafka / kafka-logs

/ data / var / kafka / kafka-logs下的大多数文件夹的大小为4K-40K

但是两个文件夹的大小非常大-5G-7G，这导致/ data为100％

例：

在/data/var/kafka/kafka-logs/mmno.aso.prpl.proces-90下

12K     00000000000000000000.index
1.0G    00000000000000000000.log
16K     00000000000000000000.timeindex
12K     00000000000001419960.index
1.0G    00000000000001419960.log
16K     00000000000001419960.timeindex
12K     00000000000002840641.index
1.0G    00000000000002840641.log
16K     00000000000002840641.timeindex
12K     00000000000004260866.index
1.0G    00000000000004260866.log
16K     00000000000004260866.timeindex
12K     00000000000005681785.index
1.0G    00000000000005681785.log

有可能限制日志的大小吗？ 或其他解决方案？ 我们的/ data很小，需要的日志不应该是1G大小，如何解决？

Answer 1

Kafka具有许多用于限制日志大小的代理/主题配置。 尤其是：

• log.retention.bytes ：删除日志之前的最大日志大小
• log.retention.hours ：删除日志文件之前保留其小时数

请注意，这些并不是硬性限制，因为每个段都会发生删除，如http://kafka.apache.org/documentation/#impl_deletes中所述 。 这些也是每个主题。 但是通过设置这些，您应该能够控制数据目录的大小。

有关log.retention.* / log.roll.* / log.segment.*配置的完整列表，请参见http://kafka.apache.org/documentation/#brokerconfigs log.segment.*