如何在沒有火花的情況下將hadoop avro，鑲木地板以及文本文件轉換為csv
[英]How to convert hadoop avro, parquet, as well as text file to csv without spark
問題描述
我有avro，鑲木地板和文本文件的hdfs版本。 不幸的是，我無法使用spark將它們轉換為csv。 我從一個較早的問題中看到，這似乎是不可能的。 如何將HDFS文件轉換為csv或tsv。 這可能嗎？如果可以，我該怎么做？
1 個解決方案
解決方案1
0 已采納 2019-08-15 06:49:12
這將幫助您閱讀Avro文件（只需避免架構演變/修改...）。 例子
至於Parquet，您可以使用parquet-mr ，看看ParquetReader。 示例 ：忽略Spark用法，他們只是使用它來創建Parquet文件，以便以后與ParquetReader一起使用。
希望能幫助到你
在沒有數據塊的情況下將CSV文件轉換為Spark 1.5.2中的數據幀
[英]Convert csv file to dataframe in Spark 1.5.2 without databricks
如何使用火花流讀取.csv文件並使用Scala寫入鑲木地板文件？
[英]How to read .csv files using spark streaming and write to parquet file using Scala?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.