如果 Kafka 生产者设置是在代理中而不是生产者中定义的，那么它会被采用吗？

Question

我正在尝试设置compression.type ，目前在我的代理配置中设置它。 如果我没有在我的生产者中定义属性，它会生效吗？ 我没有在我的生产者部署中指定任何compression.type值甚至属性。

Answer 1

这两个属性有不同的用途，请参阅Kafka 参考文档。

在生产者端定义时， compression.type编解码器用于压缩每个批次以进行传输，从而增加通道吞吐量。

在主题（代理）级别， compression.type定义了用于在 Kafka 日志中存储数据的编解码器，即最小化磁盘使用。 特殊值producer允许 Kafka 保留生产者设置的原始编解码器。

Answer 2

这取决于你想压缩什么。 您可以压缩发送的数据，也可以压缩存储在主题中的数据。 所以在broker端定义它来配置数据的保存方式或者在producer端定义它来配置数据的发送方式

经纪人方面：

指定给定主题的最终压缩类型。 此配置接受标准压缩编解码器（'gzip'、'snappy'、'lz4'、'zstd'）

参考融合文档

制作方：

生产者生成的所有数据的压缩类型。 默认为无（即无压缩）。 有效值为 none、gzip、snappy、lz4 或 zstd。

参考融合文档