使用 spring kafka 時如何在生產者中壓縮數據

Question

我目前正在使用 spring-kafka 發送數據，如下所示：

val json = objectWriter.writeValueAsString(obj)
kafkaTemplate.send(topic, json)

我如何告訴 KafkaTemplate 在發送前使用 snappy 壓縮 json？

Answer 1

在 apache kafka 中有生產者配置compression.type具有有效值

生產者生成的所有數據的壓縮類型。 默認值為無（即不壓縮）。 有效值為 none、gzip、snappy、lz4 或 zstd

所以你可以在生產者配置中設置

ProducerConfig.COMPRESSION_TYPE_CONFIG "snappy"

或通過使用屬性

spring.kafka.producer.compression-type= # Compression type for all data generated by the producer.

Answer 2

1.) 經紀商層面的壓縮。

您可以在命令末尾使用 --config compression.type=gzip 啟動 Zookeeper 服務器，也可以在 Zookeeper 配置文件中添加此屬性。

2.) 生產者層面的壓縮

在生產者的 config/producer.properties 中設置屬性 compression.type = gzip 或使用以下屬性啟動生產者

--compression-codec 'gzip'、'snappy'、'lz4' 或 'zstd'。
如果指定沒有值，那么它
默認為“gzip”