[英]How to retrieve AVRO Schema from Schema Registry from a message in a Topic from java consumer
我們正在使用帶有模式注冊表的 Confluent Kafka。 我們有 40 多個主題。 我們的應用程序使用注冊表中的模式將 avro 消息寫入這些主題。
據我了解,在使用注冊表時,該消息不包含實際的架構,而是對注冊表中的架構(架構 id)的引用。 我正在開發 Java 中的實用程序,它將接受主題名稱或主題名稱列表並從每個主題中檢索有限數量(可能 50 條)的消息。 然后,此實用程序應將 avro 消息轉換為 json。
我見過的所有示例,仍然必須給出能夠將 byte[] 轉換為 json 的架構。
我希望並想知道,是否可以使用來自主題的 avro 消息(模式 id)中的信息動態地從注冊表中獲取模式,並使用它將消息轉換為 json。
有可能這樣做嗎? 有人可以給我一個關於如何實現這一目標的例子嗎?
謝謝
更新
@eik
試驗 1
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
"io.confluent.kafka.streams.serdes.avro.GenericAvroDeserializer");
final Consumer<String, GenericRecord> genericConsumer = new KafkaConsumer<>(props);
genericConsumer.subscribe(Collections.singletonList("TOPICNAME"));
while (true) {
final ConsumerRecords<String, GenericRecord> genericConsumerRecords = genericConsumer.poll(Duration.ofMillis(1000));
System.out.println("genericConsumerRecords.count() : " + genericConsumerRecords.count() + " genericConsumerRecords.isEmpty() : " + genericConsumerRecords.isEmpty());
genericConsumerRecords.forEach(genericRecord1 -> {
try {
System.out.println("convert(genericRecord1.value()) -> " + convert(genericRecord1.value()));
} catch (IOException e) {
e.printStackTrace();
}
//
});
}
這是 output genericConsumerRecords.count(): 0 genericConsumerRecords.isEmpty(): true
注意::轉換方法是下面答案中的方法
試驗 2
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.ByteArrayDeserializer");
final Consumer<String, byte[]> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Collections.singletonList("TOPICNAME"));
while (true) {
final ConsumerRecords<String, byte[]> consumerRecords = consumer.poll(Duration.ofMillis(1000));
System.out.println("consumerRecords.count() : " + consumerRecords.count() + " consumerRecords.isEmpty() : " + consumerRecords.isEmpty());
consumerRecords.forEach(record1 -> {
String string = new String(record1.value(), StandardCharsets.UTF_8);
System.out.printf("offset = %d, key = %s, value = %s \n", record1.offset(), record1.key(), string);
});
}
這是 output
consumerRecords.count() : 60 consumerRecords.isEmpty() : false
offset = 0, key = e3bff195-08a7-4c58-99de-98ffe2d460e6, value = He52d6fa6-841f-430c-8bf7-bd4c7b684129 http://schemaregistryurl:8081/subjects/TOPICNAME-value/versions/1/schema Canon Message to represent CustomerPrefAVRFAST 162019-08-07T08:35:35.9950728 QA1-Test-0421-16$CustomerPrefData 1He52d6fa6-841f-430c-8bf7-bd4c7b684129 RawH862437d0-e260-45f9-ab5e-345b536d685a02020-04-21T17:48:52.601Z$CustomerPref POL_MAST02020-04-21T11:17:28.241ZHe3bff195-08a7-4c58-99de-98ffe2d460e69
False&1900-01-01T00:00:00He3bff195-08a7-4c58-99de-98ffe2d460e6He3bff195-08a7-4c58-99de-98ffe2d460e6
注意::我必須從 output 中刪除一些非 ascii 字符
第二種方法確實給出了output,但它是一個byte[],需要得到json output。 嘗試了不同的方法都沒有成功。
我如何解決它?
謝謝
一種選擇是使用io.confluent.kafka.streams.serdes.avro.GenericAvroDeserializer
來獲得標准的 Apache Avro GenericRecord
然后執行:
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import org.apache.avro.Schema;
import org.apache.avro.generic.GenericDatumWriter;
import org.apache.avro.generic.GenericRecord;
import org.apache.avro.io.DatumWriter;
import org.apache.avro.io.Encoder;
import org.apache.avro.io.EncoderFactory;
class GenericRecord2Json {
String convert(GenericRecord record) throws IOException {
ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
Schema schema = record.getSchema();
DatumWriter<GenericRecord> writer = new GenericDatumWriter<>(schema);
Encoder encoder = EncoderFactory.get().jsonEncoder(schema, outputStream, /* pretty= */ true);
writer.write(record, encoder);
encoder.flush();
return outputStream.toString(StandardCharsets.UTF_8);
}
}
它以 JSON 格式返回您的消息。 Schema 由record.getSchema()
檢索。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.