[英]Read HDF5 files from *.tar.gz compressed file in scala in Spark
[英]Unzip the multiple *.gz files and make one csv file in spark scala
我在 S3 存储桶中有多个文件,必须解压缩这些文件并将所有文件合并到一个带有单个标头的文件 (CSV) 中。 所有文件都包含相同的标题。
数据文件如下所示。
存储系统:S3 存储桶。
part-0000-XXXX.csv.gz
part_0001-YYYY.csv.gz
part-0002-ZZZZ.csv.gz
.
.
.
.
part-0010_KKKK.csv.gz.
我想要一个来自所有文件的 CSV 文件,如上所示。 请帮助我如何解压缩和合并所有文件。
将所有文件解压缩并合并为一个 CSV 文件后,我可以使用此文件与以前的文件进行数据比较。
我正在使用 spark 2.3.0 和 scala 2.11
非常感谢。
下面提到的代码似乎工作正常。
scala> val rdd = sc.textFile("/root/data")
rdd: org.apache.spark.rdd.RDD[String] = /root/data MapPartitionsRDD[1] at textFile at <console>:24
scala> rdd.coalesce(1).saveAsTextFile("/root/combinedCsv", classOf[org.apache.hadoop.io.compress.GzipCodec])
可以看到输入数据在/root/data
目录下,gzip格式的合并csv存储在/root/combinedCsv
目录下。
更新
如果要以 csv 格式存储数据,请去掉 GzipCodec 部分。
scala> rdd.coalesce(1).saveAsTextFile("/root/combinedCsv")
您可以使用下面的代码,也可以直接从 gz 文件中读取而不解压:
val filePath = "/home/harneet/<Dir where all gz/csv files are present>"
var cdnImpSchema = StructType(Array(
StructField("idate", TimestampType, true),
StructField("time", StringType, true),
StructField("anyOtherColumn", StringType, true)
))
var cdnImpDF = spark.read.format("csv"). // Use "csv" regardless of TSV or CSV.
option("delimiter", ","). // Set delimiter to tab or comma or whatever you want.
schema(cdnImpSchema). // Schema that was built above.
load(filePath)
cdnImpDF.repartition(1).write.format("com.databricks.spark.csv").option("header", "true").save("mydata.csv")
repartition(1) -> 将产生一个文件作为输出。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.