如果消息是由制作人制作的，如何从Kafka经纪人那里得到确认？

Question

当我发出消息时，我想从经纪人那里得到一些回应。 我尝试过在KafkaProducer.send使用的CallBack机制（通过实现CallBack），但是它没有工作，也没有调用onCompletion方法。

当我关闭Kafka服务器并尝试生成消息时，它会调用回调方法。

有没有其他方式得到确认？

@Override
    public void onCompletion(RecordMetadata metadata, Exception exception) {
        long elapsedTime = System.currentTimeMillis() - startTime;
        System.out.println("Called Callback method");
        if (metadata != null) {
            System.out.println("message(" + key + ", " + message
                    + ") sent to partition(" + metadata.partition() + "), "
                    + "offset(" + metadata.offset() + ") in " + elapsedTime
                    + " ms");
        } else {
            exception.printStackTrace();
        }

    }

props.put("bootstrap.servers", "localhost:9092");
props.put("client.id", "mytopic");
props.put("key.serializer", org.apache.kafka.common.serialization.StringSerializer.class);
props.put("value.serializer", org.apache.kafka.common.serialization.ByteArraySerializer.class);

KafkaProducer<String, byte[]> producer = new KafkaProducer<String,byte[]>(props);
long runtime = new Date().getTime(); 
String ip = "192.168.2."+ rnd.nextInt(255); 
String msg = runtime + ".www.ppop.com," + ip;
producer.send(new ProducerRecord<String, byte[]>("mytopic", msg.getBytes()), `new TransCallBack(Calendar.getInstance().getTimeInMillis(), key, msg));`

我使用kafka-client api 0.9.1与代理版本0.8.2。

Answer 1

因此，我不能100％确定哪些版本适用于Kafka。 目前我使用的是0.8.2，我知道0.9引入了一些重大变化，但我无法确切地告诉你现在有什么/什么不起作用。

一个非常强烈的建议，我会使用与您的经纪人版本对应的Kafka-Client版本。 如果您使用的是经纪人0.8.2，我也会使用kakfa-client 0.8.2。

你从未提供任何关于你如何使用它的代码，所以我只是在暗中猜测。 但是我已经在生产者中使用这种方法在Kafka 0.8.2中实现了回调功能。 以下是方法签名。

public java.util.concurrent.Future<RecordMetadata> send(ProducerRecord<K,V> record, Callback callback)

我将在哪里调用该方法，实际上我使用overriden方法传入该类。

KafkaProducer<String, String> prod = new KafkaProducer<String, String>(props);
ProducerRecord<String, String> record = //data to send to kafka
prod.send(record, new Callback() {
  @Override
  public void onCompletion(RecordMetadata metadata, Exception e) {
    if (e != null) {
      e.printStackTrace();
    } else {
      //implement logic here, or call another method to process metadata
      System.out.println("Callback");
    }
  }
}); 

我假设有一种方法也可以做到这一点。 但是你必须提供代码，显示你实际上如何向Kafka发送记录。 除此之外，我只是在猜测。

Answer 2

有一种简单的方法可以在KafkaProducer使用kafka 0.9版本发布消息后从代理获取信息。 您可以调用get（）方法，该方法将返回一个RecordMetadata对象，您可以在代码片段下方获取诸如offset，topicPartition之类的信息作为示例：

RecordMetadata m = kafkaProducer.send(new ProducerRecord<byte[], byte[]>(
                        topic, key.getBytes("UTF-8"), message
                                .getBytes("UTF-8"))).get();
System.out.println("Message produced, offset: " + m.offset());
System.out.println("Message produced, partition : " + m.partition());
System.out.println("Message produced, topic: " + m.topic());

Answer 3

关闭制作人 - 一旦完成发布所有消息 - 就像这样：

producer.close();

这可确保始终调用Callback中的以下方法：

onCompletion(RecordMetadata metadata, Exception exception)

注意：我已经通过将该行添加到此示例Producer类中进行了测试，并且它可以正常工作。