增加kafka的吞吐量

Question

我正在从 CSV 文件中读取数据并使用 Java 代码将其推送到 3 个 Kafka 代理中。

但是，我只得到 5 条消息/秒的吞吐量，而我的期望是大约 200 条消息/秒

我正在使用异步模式来推送数据

下面是我的 producer.properties

buffer.memory: 100000000 
batch.size: "3276800"
linger.ms: "5" 
compression.type: lz4 
retries: default 
send.buffer.bytes: 10458760  
connections.max.idle.ms: 10000

任何帮助将不胜感激。

谢谢。

Answer 1

为什么要编写代码来做到这一点？ 只需使用 Kafka Connect（它是 Apache Kafka 的一部分）和https://github.com/jcustenborder/kafka-connect-spooldir ，其中包括对 CSV 文件的支持。 有可能这会表现得更好，并且更容易维护、部署等。