Kafka通过多个分区和多个使用者线程提高吞吐量

Question

我在某些应用程序中使用kafka流。

流如下

kafkaProducer---->StreamerConsumer1->finalCosumer

我有生产者，它可以非常快速地写入数据，并且我的StreamConsumer会将每个流与某些进程映射，并将该流转发到其他主题。

在我的StreamCosumer映射中，我添加了自己的映射器函数，该函数实际上试图保留其相关数据，如下所示

public void checkRecord(T1 key, T2 value) {
 switch(T1.toString()){
 case "key1":
  //Get relavant fileds from value and perisit in db 
   break;
   case "key2":
     //Get relavant fileds from value and perisit in db 
   break;
 }
}


KStream<String, KafkaStatusRecordWrapper> pDStream[] = myStream.map(this::checkRecord).branch((key, value)-> value.isSuccess(),(key, value)-> !value.isSuccess());

pDStream[0].mapValues(value -> transformer(value)).to("other_topic",Produced.with(stringSerde, stringSerde));   

现在我的checkRecord记录使用者函数是单线程的，几乎要花300毫秒（由于某些业务逻辑和数据库持久性，我无法避免）返回。

由于我们的基础结构存在某些限制，并且由于以下限制，我无法增加分区数

More Partitions Requires More Open File Handles
More Partitions May Increase Unavailability
More Partitions May Increase End-to-end Latency

所以我打算编写多线程流使用者。

但我担心以下几点。

1. 我只需要处理一次记录
2. 移交给另一个线程将导致偏移管理问题。

那么如何增加吞吐量呢？

我的使用者有足够的资源，仅使用了40％的资源。

Answer 1

您可以将流配置num.stream.threads设置为配置线程数。 最大值可以是最大分区数。 它有助于提高应用程序实例的并行性。

假设您的主题有4个分区，则可以设置以下内容：

properties.set("num.stream.threads",4);