繁体 English 中英

Spark Scala阅读Avro并保存

[英]spark Scala Read Avro and save it

原文 2017-09-20 19:59:16 3 1 scala/ apache-spark

我使用以下代码在Spark Scala中读取了Avro文件。

 val buf = scala.collection.mutable.ListBuffer.empty[GenericRecord]
 while(dataFileReader.hasNext)  {
     buf += dataFileReader.next
  }

我想将此输出保存在文本文件中。 请帮帮我

1 个解决方案

您可以使用avro-tools实用程序来执行此操作

avro-tools fromtext from_fille.avro to_file.txt

如何使用Spark＆Scala读取此avro文件？

[英]How can I read this avro file using spark & scala?

如何使用 Scala/Spark 保存/读取地图

[英]How to save/read a Map using Scala/Spark

如何在 Spark Scala 中读取 Avro 二进制（Base64）编码数据

[英]How to read Avro Binary(Base64) Encoded data in Spark Scala

从数据帧制作Avro模式-Spark-Scala

[英]make avro schema from a dataframe - spark - scala

csv到scala中没有apache火花的avro

[英]csv to avro without apache spark in scala

spark scala avro 写入失败并出现 AbstractMethodError

[英]spark scala avro write fails with AbstractMethodError

如何以优雅的方式在Scala中使用Spark处理Avro

[英]How to handle Avro in Spark with Scala in elegant way

Spark：使用 Spark Scala 从 Kafka 读取 Avro 消息

[英]Spark: Reading Avro messages from Kafka using Spark Scala

如何从 scala 中的 avro 文件中读取元数据

[英]How to read metadata from an avro file in scala

在 Spark 和 Scala 中读取 XML

[英]Read XML in Spark and Scala

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 如何使用Spark＆Scala读取此avro文件？如何使用 Scala/Spark 保存/读取地图如何在 Spark Scala 中读取 Avro 二进制（Base64）编码数据从数据帧制作Avro模式-Spark-Scala csv到scala中没有apache火花的avro spark scala avro 写入失败并出现 AbstractMethodError 如何以优雅的方式在Scala中使用Spark处理Avro Spark：使用 Spark Scala 从 Kafka 读取 Avro 消息如何从 scala 中的 avro 文件中读取元数据在 Spark 和 Scala 中读取 XML

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM