简体   繁体   English

KafkaJS 使用一个消费者从多个主题消费

[英]KafkaJS consume from multiple topics with one consumer

I want to implement retry logic while consuming from Kafka topic using KafkaJS , so basically, I will have 2 topics main-topic and retry-topic and I will我想在使用KafkaJSKafka topic消费时实现retry逻辑,所以基本上,我将有 2 个主题main-topicretry-topic我会

read from -> main-topic阅读 -> main-topic
if processing fails |如果处理失败 | -> retry topic -> retry topic

so is it a bad practice to use one consumer for listening from both topics(both main and retry ), as kafka allows to listen from multiple topics using same consumer.因此,使用一个consumer收听两个主题(包括mainretry )是一种不好的做法,因为kafka允许使用同一消费者收听多个主题。

It's not a bad practice at all.这根本不是一个坏习惯。

The only problem you may run into using one consumer is that the topics may need differ configurations (connection settings, deserializer, etc).使用一个消费者可能遇到的唯一问题是主题可能需要不同的配置(连接设置、反序列化器等)。 In that case, you can create two separate Consumer instances rather than one subscribing to both.在这种情况下,您可以创建两个单独的 Consumer 实例,而不是一个订阅两者。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 在kafka上的一个消费者中消费多个主题 - Consume multiple topics in a single consumer on kafka 是否可以创建 KafkaJS 中已经存在的主题? - Is it OK to create topics that already exist in KafkaJS? 如何使用 kafkajs npm 使用来自 kafka 主题计数基础或批处理模型的消息 - How to consume the message from kafka topic count basis or batch model using kafkajs npm 如何使用 NodeJs 消费来自 Kafka 消费者的最新消息? - How to consume the latest message from Kafka-consumer using NodeJs? OpenShift - 无法从 KafkaJS 连接 Strimzi - OpenShift - Unable to connect Strimzi from KafkaJS 为什么我的 kafkajs 客户端 (Node.js/express.js) 在获取主题元数据时抛出“TypeError:topics.forEach 不是函数”? - Why is my kafkajs client (Node.js/express.js) throwing 'TypeError: topics.forEach is not a function' while fetching topics metadata? Kafka 消费者监听两个事件/主题 - Kafka consumer listening to two events/topics 服务不使用来自 AWS Kafka 集群上所有主题消费者组的消息 - service not consume message from all topic consumer group on AWS Kafka Cluster RabbitMQ连续有一个专用的消费者消费消息 - RabbitMQ have an exclusive consumer consume message serially 在令牌过期之前,如何使用 kafkajs 使用 sasl 和 oauthbearer 为 kafka 生产者和消费者定期获取新的 access_token? - How can I periodically get new access_token using sasl with oauthbearer for kafka producer and consumer using kafkajs before the token expires?
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM