簡體 English 中英

如何使用chill-avro在Spark中加載Avro GenericRecords？

[英]How can I use chill-avro to load Avro GenericRecords in Spark?

原文 2014-06-04 03:22:09 5 1 scala/ hadoop/ avro/ apache-spark/ kryo

我嘗試在Spark中使用Avro GenericRecords，但得到了一個java.io.NotSerializableException：org.apache.avro.mapred.AvroWrapper

https://gist.github.com/rjurney/8b90e9b709d061cc0b94

寒冷的項目增加了對Scala的Kryo / Avro支持。 如何將Kryo，Avro，chill和Spark結合起來加載Avros？

1 個解決方案

chill-avro不用於從FS加載數據，而是用於序列化機上數據。 有關詳細信息，請參閱以下鏈接

https://github.com/twitter/chill/issues/171#issuecomment-45049396

如何在spark-avro 2.4模式中設置邏輯類型？

[英]How can I set a logicalType in a spark-avro 2.4 schema?

如何使用Spark＆Scala讀取此avro文件？

[英]How can I read this avro file using spark & scala?

如何使用Avro文件中的架構在Spark中加載Avros？

[英]How can I load Avros in Spark using the schema on-board the Avro file(s)?

如何在IntelliJ中加載avro架構？

[英]How do I load a avro schema in IntelliJ?

使用模式將帶有Spark的AVRO消息轉換為DataFrame

[英]Use schema to convert AVRO messages with Spark to DataFrame

Spark：寫入Avro文件

[英]Spark: Writing to Avro file

Spark avro到鑲木地板

[英]Spark avro to parquet

Spark讀取Avro文件

[英]Spark reading Avro file

在Spark中閱讀Avro文件

[英]Reading Avro File in Spark

火花結構流avro到avro和自定義接收器

[英]spark structured streaming avro to avro and custom Sink

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 如何在spark-avro 2.4模式中設置邏輯類型？如何使用Spark＆Scala讀取此avro文件？如何使用Avro文件中的架構在Spark中加載Avros？如何在IntelliJ中加載avro架構？使用模式將帶有Spark的AVRO消息轉換為DataFrame Spark：寫入Avro文件 Spark avro到鑲木地板 Spark讀取Avro文件在Spark中閱讀Avro文件火花結構流avro到avro和自定義接收器

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM