如何在没有火花的情况下将hadoop avro，镶木地板以及文本文件转换为csv
[英]How to convert hadoop avro, parquet, as well as text file to csv without spark
问题描述
我有avro，镶木地板和文本文件的hdfs版本。 不幸的是，我无法使用spark将它们转换为csv。 我从一个较早的问题中看到，这似乎是不可能的。 如何将HDFS文件转换为csv或tsv。 这可能吗？如果可以，我该怎么做？
1 个解决方案
解决方案1
0 已采纳 2019-08-15 06:49:12
这将帮助您阅读Avro文件（只需避免架构演变/修改...）。 例子
至于Parquet，您可以使用parquet-mr ，看看ParquetReader。 示例 ：忽略Spark用法，他们只是使用它来创建Parquet文件，以便以后与ParquetReader一起使用。
希望能帮助到你
在没有数据块的情况下将CSV文件转换为Spark 1.5.2中的数据帧
[英]Convert csv file to dataframe in Spark 1.5.2 without databricks
如何使用火花流读取.csv文件并使用Scala写入镶木地板文件？
[英]How to read .csv files using spark streaming and write to parquet file using Scala?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.