[英]How to extract schema id from confluent serialized avro payload in Scala
我知道 avro 序列化數據有 0 字節作為魔法字節，字節 1-4 有模式 ID。 這對我來說是一個非常重要的要求，但我無法使用 spark 函數提取架構 ID。
有人可以幫我解決 scala 中的等效代碼嗎？
從普通的 Scala KafkaConsumer，您將在消費者配置中使用 ByteArrayDesrializer，從消費值構建一個 ByteBuffer，然后調用 get 和 getInt 來獲取 ID。
但在 Spark 中，這不是必需的，也不可能。 參考這篇關於在字節數組上使用 substring function 獲取 ID 的博客
沒有融合模式注冊表的反序列化：Avro 序列化數據不包含 avro 模式
[英]Deserialization without confluent schema registry: Avro serialized data doesn't contain avro schema
如何讓 Kafka Avro 消費者讀取具有特定模式 ID/版本的有效負載，但不生成 Avro 模式 java class？
[英]How to let Kafka Avro consumer read payload with the specific schema id / version but without generating the Avro schema java class?
如何從 pyspark 中的 kafka 以字符串格式從 Confluent Schema Registry 獲取 Avro 數據？
[英]How to get Avro data from Confluent Schema Registry in String format from kafka in pyspark?
給定一組來自 Confluent Schema Registry 的主題，如何獲取所有必需的 Avro Schema
[英]How to get all required Avro Schemas given a set of topics from the Confluent Schema Registry
如何通過不同的 Confluent Registry 源忽略 Avro 模式？
[英]How to ignore Avro schema by different Confluent Registry source?
如何使用 python 從具有模式 ID 和版本的融合模式注冊表中獲取模式
[英]How to get schema from confluent schema registry with schema id and version using python
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
