无法通过多个使用者从具有单个分区的单个主题读取事件

Question

我是使用Kafka-node的Kafka的新手。 我正在使用Kafka进行实时数据处理。 该系统有一个生产者和多个消费者。 如果有一个使用者同时运行，则可以接收数据，但是如果我运行两个使用者，则只有一个使用者可以接收数据，而另一个使用者没有接收到数据。

卡夫卡生产者的代码是：

const config = require('../config');
const logger = require('./logger');
const kafka = require('kafka-node'),
HighLevelProducer = kafka.HighLevelProducer,
client = new kafka.Client(`${config.kafka.host}:${config.kafka.port}`),
producer = new HighLevelProducer(client);

producer.on('ready', () => {
logger.info("Events producer to kafka is ready...");
});

producer.on('error', (err) => {
logger.error("Error while starting kafka producer:" + err.message);
});

const queueEvent = (event, callback) => {
const payloads = [
{ topic: config.kafka.queueName, messages: JSON.stringify(event, null, 
2) },
];
producer.send(payloads, (err, data) => {
if (err) {
logger.error(`Error while producing data: ${err.message}`);
callback(err);
} else {
callback(null, data);
}
});
};

module.exports = {
queueEvent
};

为所有使用者完成的配置如下所示：

const kafka = require('kafka-node');

const logger = require('../common/logger');
const config = require('../common/config');
const eventDao = require('../models/event');
const _ = require('lodash');

const { getDeviceHierarchy } = require('../common/apiUtils');

const options = { autoCommit: true, fetchMaxWaitMs: 1000, fetchMaxBytes: 
1024 * 1024 };

const HighLevelConsumer = kafka.HighLevelConsumer,
client = new kafka.Client(`${config.kafka.host}:${config.kafka.port}`),
consumer = new HighLevelConsumer(
client,
[
{ topic: config.kafka.queueName, partition: 0 }
],
options
);

我正在使用Kafka的docker image，下面是我完成的设置

docker run -d -p 2181：2181 -p 3030：3030 -p 8081-8083：8081-8083 -p 9581-9585：9581-9585 -p 9092：9092 -e ADV_HOST = localhost -e DISABLE = azure-documentdb，区块链，彭博，cassandra，帽，德鲁伊，弹性，弹性5，ftp，hazelcast，hbase，influxdb，jms，kudu，mongodb，mqtt，redis，重新思考，voltdb，雅虎，hdfs，jdbc，elasticsearch，s3，twitter -e CONNECT_HEAP = 6G -e RUNNING_SAMPLEDATA = 0 -e RUNTESTS = 0 landoop / fast-data-dev：latest **

Answer 1

您能否确认在多个消费者方案中的消费者是否属于同一消费者组？

如果这样做，则观察到的行为是正确的。 让我尝试详细说明一下：

1. 在您描述的场景中，听起来两个消费者都属于同一个消费者组。 在这种情况下，组中的每个使用者只能从一个分区中使用。 由于这里只有一个分区，因此排队的第一个使用者将使用该分区。

2. 如果我们有多个消费者组，则每个组中有多个消费者订阅同一主题（有一个分区）。 在这种情况下，多个使用者可以从同一分区进行消费。

我不熟悉您使用的编程语言，但找不到在您的Kafka使用者中设置“ group.id ”属性的语句。 您可以尝试在用户代码/配置中设置此设置吗？

另外，您可以检查并确认您正在使用的Kafka的版本，以及Kafka中的consumer.properties文件中是否有默认值？ 因为从版本0.9.0.0起，group.id属性值已被强制设置，并且不提供该值将引发错误（请检查此票证 ）。