如何使用 scala 生成 avro ocf 格式（帶架構）數據/文件？
[英]How to generate avro ocf format(with schema) data/file using scala?
問題描述
我是 Scala 的新手。
我有一個要求，我的數據（在案例類中）需要以 avro OCF（包括模式）格式寫入 S3 存儲桶。 我可以在 scala 中看到生成/序列化 avro 非 ocf（無模式）格式數據的方法，但找不到生成 OCF 格式的方法。
此鏈接示例顯示如何生成非 OCF 格式，但我正在尋找 OCF 格式生成https://dzone.com/articles/kafka-avro-scala-example
任何幫助/建議將不勝感激。
1 個解決方案
解決方案1
1 已采納 2020-12-25 12:47:46
您需要使用com.sksamuel.avro4s.AvroDataOutputStream class。
是否可以使用模式注冊表將 Avro 消息轉換為 scala 案例類？
[英]Is it possible to convert Avro messages using schema registry to scala case classes?
Scala：如何使用avro4s將嵌套/復雜的數據轉換為avro？
[英]Scala: How convert nested/complicated data to avro using avro4s?
如何在不知道 avro 模式的情況下在 Scala 中讀取 Avro 編碼的 kafka 消息？
[英]How to read Avro Encoded kafka message in scala without knowing avro schema?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
如何使用Scala生成avro文件
在構建時從scala case類生成avsc avro模式
在Scala中導入avro架構
如何使用Spark＆Scala讀取此avro文件？
是否可以使用模式注冊表將 Avro 消息轉換為 scala 案例類？
Scala：如何使用avro4s將嵌套/復雜的數據轉換為avro？
Scala - 如何從 Avro 模式中獲取所有字段名稱？
如何在scala的avro文件中提取數組的一部分？
如何從 scala 中的 avro 文件中讀取元數據
如何在不知道 avro 模式的情況下在 Scala 中讀取 Avro 編碼的 kafka 消息？
相關標簽