与 Kafka 主题之间的 Avro 序列化/反序列化 [关闭]
[英]Avro Serialization/Deserialization to/from Kafka Topic [closed]
问题描述
我正在尝试创建一个通用实用程序，它可以从 Kafka 主题读取 avro 文件并将 avro 文件写入 Java 中的主题。 我找不到太多相同的文档。 欣赏任何工作代码。
1 个解决方案
解决方案1
1 2019-04-29 23:56:27
也许你看到了这个问题？ 读取现有的 Avro 文件并发送到 Kafka
您通常在 Kafka 中没有“文件”……关于 Avro 有很多关于如何读/写文件的文档，但 Kafka 仅将单个记录作为byte[]对象处理。 Avro 提供了BinaryEncoder类来获取记录到字节数组
如果您将 Kafka 与 Avro 一起使用，您通常会使用 Confluent Schema Registry。 这使得每条 Kafka 消息不需要完全编码的 Avro 模式，而只需要带有二进制数据的数字引用 ID
你可以在这里找到他们的快速入门
https://docs.confluent.io/current/quickstart/index.html
和 Github 示例 repo 在这里
https://github.com/confluentinc/examples/blob/5.2.1-post/clients/avro/README.md
如果您不使用架构注册表，则必须编写自己的序列化程序。 这是通过 Bijection 库为生产者使用普通 Kafka API 和消费者使用 Spark 的示例
http://aseigneurin.github.io/2016/03/04/kafka-spark-avro-production-and-sumption-avro-messages.html
请注意，Spark 已经有一个用于处理 Avro 的包。 理论上，您可以直接使用它来读取 Avro 文件作为 Dataframe 并将它们写入 Kafka 主题。
Spark 根本没有必要。 Bijection 也可以被 Kafka Consumer 或 Deserializer 接口使用
使用来自同一 kafka 主题的字符串和 JSON 消息 - 反序列化问题
[英]Consume String and JSON message from same kafka topic - issue with deserialization
无法运行反序列化来自 kafka 主题的 avro 数据的 flink 应用程序
[英]Not able to run flink application which deserializes avro data coming from a kafka topic
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
从 Kafka 主题读取数据时，Avro 反序列化失败
Avro Map序列化/反序列化问题
消费来自Kafka主题的消息时反序列化问题
使用来自同一 kafka 主题的字符串和 JSON 消息 - 反序列化问题
使用 kafka lib 反序列化 PRIMITIVE AVRO KEY
Kafka Streams创建没有架构的Avro主题
Spring Cloud Kafka和Avro序列化问题
使用avro序列化将整个Json发送到kafka？
如何在 Spring-Kafka 中使用 Avro 序列化
无法运行反序列化来自 kafka 主题的 avro 数据的 flink 应用程序
相关标签