[英]Apache Flink read Avro byte[] from Kafka
在查看示例时,我看到了很多:
FlinkKafkaConsumer08<Event> kafkaConsumer = new FlinkKafkaConsumer08<>("myavrotopic", avroSchema, properties);
我看到他们在这里已经知道架构了。
在将byte []读入通用记录然后获取架构之前,我不知道架构。 (因为记录可能会有所不同)
有人可以将我指向FlinkKafkaConsumer08
,该FlinkKafkaConsumer08
从byte[]
读取到映射过滤器,以便我可以删除一些前导位,然后将该byte[]
装入通用记录吗?
如果您使用Confluent的架构注册表,我认为首选的解决方案是使用Confluent提供的Avro serde。 这样,我们只需调用deserialize()
即可使用,并且在后台自动完成要使用的最新版本的Avro模式的解析,并且不需要字节操作。
可以归结为以下内容(scala中的示例代码,一个Java解决方案将非常相似):
import io.confluent.kafka.serializers.KafkaAvroDeserializer
...
val valueDeserializer = new KafkaAvroDeserializer()
valueDeserializer.configure(
Map(AbstractKafkaAvroSerDeConfig.SCHEMA_REGISTRY_URL_CONFIG -> schemaRegistryUrl).asJava,
false)
...
override def deserialize(messageKey: Array[Byte], message: Array[Byte],
topic: String, partition: Int, offset: Long): KafkaKV = {
val key = keyDeserializer.deserialize(topic, messageKey).asInstanceOf[GenericRecord]
val value = valueDeserializer.deserialize(topic, message).asInstanceOf[GenericRecord]
KafkaKV(key, value)
}
...
此方法要求消息生成器也与模式注册表集成在一起,并在此发布模式。 这可以使用Confluent的KafkaAvroSerializer
以与上述非常相似的方式KafkaAvroSerializer
我在这里发布了详细的解释: 如何将Flink与Confluent的架构注册表集成
我正在做类似的事情(我使用的是09消费者)
在您的主代码中传递您的自定义解串器:
FlinkKafkaConsumer09<Object> kafkaConsumer = new FlinkKafkaConsumer09<>(
parameterTool.getRequired("topic"), new MyDeserializationSchema<>(),
parameterTool.getProperties());
定制的反序列化模式读取字节,找出模式和/或从模式注册表中检索它,反序列化为GenericRecord并返回GenericRecord对象。
public class MyDeserializationSchema<T> implements DeserializationSchema<T> {
private final Class<T> avrotype = (Class<T>) org.apache.avro.generic.GenericRecord.class;
@Override
public T deserialize(byte[] arg0) throws IOException {
//do your stuff here, strip off your bytes
//deserialize and create your GenericRecord
return (T) (myavroevent);
}
@Override
public boolean isEndOfStream(T nextElement) {
return false;
}
@Override
public TypeInformation<T> getProducedType() {
return TypeExtractor.getForClass(avrotype);
}
}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.