如何减少卡夫卡延迟？ 以及如何为同一主题创建多个消费者？

Question

def getKafkaConsumer(topicName, kafkaIP, kafkaPort, kafkaConsumerGroup): try: bootstrap = [str(kafkaIP + ':' + kafkaPort)] consumer = KafkaConsumer(topicName, bootstrap_servers = bootstrap, group_id = kafkaConsumerGroup, session_timeout_ms = 30000, api_version = (0,10)) return consumer except: import traceback print('Kafka Error: Check Kafka Consumer Settings!!')

在我的应用程序中，生产者正在生产大约。 每秒 1000 条消息，但消耗速度很慢。 在上面的 python 消费者代码中，请建议我如何调整 kafka 参数以增加消耗。 并且还建议我如何为同一个主题创建多个消费者。

Answer 1

每个 Kafka 主题可以生成的最大消费者数等于 kafka 主题中的分区数。

所以增加分区数量并启动多个消费者。