![](/img/trans.png)
[英]How to get all the messages from kafka topic and count them using java?
[英]How to reliably get all kafka topic messages via KafkaConsumer
下面的getMessages()
方法有时会获取有关kafka主题的所有消息。 在页面加载时,此代码在Web应用程序中执行。 有时没有消息返回,有时所有消息都返回。
有没有办法设置属性和/或更改代码,以便所有消息每次都返回?
public List<String> getMessages() {
List<String> messages = new ArrayList<>();
try {
ConnectionKafka connection = ConstantsHome.connectionManager.getConnectionDef(getGuid(), ConnectionKafka.class);
Properties props = new Properties();
props.put("bootstrap.servers", connection.getProps().get("bootstrapServers"));
props.put("group.id", getName());
props.put("auto.offset.reset", "earliest");
props.put("enable.auto.commit", "true");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Collections.singleton(getName()));
consumer.poll(0);
consumer.seekToBeginning(consumer.assignment());
ConsumerRecords<String, String> records = consumer.poll(0);
for (ConsumerRecord<String, String> record : records) {
messages.add(
String.format("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value())
);
}
consumer.close(0, TimeUnit.MILLISECONDS);
} catch (Exception e) {
Utils.writeToLog(e, getClass().getName(), "", IErrorManager.ERROR);
}
Collections.sort(messages, new Comparator<String>() {
@Override
public int compare(String o1, String o2) {
return Integer.valueOf(o1.substring("offset = ".length(), o1.indexOf(","))) -
Integer.valueOf(o2.substring("offset = ".length(), o2.indexOf(",")));
}
});
return messages;
}
如果期望得到每个呼叫的所有消息,则应适当设置以下内容
enable.auto.commit = false
另一个选项是为每次迭代创建一个动态组ID,考虑到组元数据存储在kafka端,我会避免使用此选项。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.