如何使用kafka producer向同一主题发送消息？

Question

我已经设置了kafka客户端来产生和使用消息，当我们从生产者向主题发送有效负载时，它按预期工作，所以我对生产者有问题，现在第一个消息我能够将其发送到主题并且我也可以使用它来自kafka主题，现在我是tryig发送第二条消息，但是消费者没有阅读来自kafka主题的第二条消息，你知道这里发生了什么吗？

producer.js

var config = require('./config.js');
var zk = require('node-zookeeper-client');
var kafkaConn = "130.8";
var kafka = require('kafka-node'),
    HighLevelProducer = kafka.HighLevelProducer,
    client = new kafka.Client(kafkaConn),
    producer = new HighLevelProducer(client),
    payloads = [
        { topic: 'test', messages: 'second message' }
    ];
producer.on('ready', function () {
    producer.send(payloads, function (err, data) {
        console.log(data);
    });
});

Consumer.js

function start () {
    topics = [{topic: 'test'}];
    var groupId = 'ulogGroup';
    var clientId = "consumer-" + Math.floor(Math.random() * 10000);
    var options = {autoCommit: true, fetchMaxWaitMs: 100, fetchMaxBytes: 10 * 1024 * 1024, groupId: groupId};
    console.log("Started consumer: ", clientId);
    var consumer_client = new kafka.Client(kafkaConn,clientId);
    var client = new Client(consumer_client.connectionString,clientId);
    var consumer = new HighLevelConsumer(client, topics, options);
    console.log("Consumer topics:", getConsumerTopics(consumer).toString());
   // startConsumer(consumer);
    consumer.on('message', function (message) {
        //var topic = message.data;
        console.log('Message',message);
    });
};
start();

Answer 1

可能是最琐碎的建议，但是您确定您的第二条消息正在发送到kafka队列吗？ 与您的使用者一起，您可能要在生产者正在工作时使用内置的命令行使用者来发布消息，以确保所有消息都已被发布。

bin/kafka-console-consumer.sh --zookeeper host:2181 --topic test --from-beginning