在 SFTP 中将文件保存为 .txt.gz 的 Spark 应用程序

Question

我有Spark (Scala) 应用程序将SFTP中的特定数据帧保存为.txt文件。 应用程序有时生成的文件达到20GB； 这是消费者无法下载的东西。 我在想我可以压缩文件，这样我们就可以减小文件的大小（特别是它是一个我们期望良好压缩率的文本文件）。

是否有任何我需要在Spark中使用（导入）的参考或库可以给我一个压缩文件？

提前致谢。

Answer 1

您可以使用option("codec","org.apache.hadoop.io.compress.snappyCodec")压缩文件。 有许多可用的编解码器提供不同级别的压缩，如org.apache.hadoop.io.compress.GzipCodec 。

如果文件保存为 .txt，这不会有任何效果，但如果您使用csv 、 parquet或Avro格式，效果会非常好。 parquet 和 Avro 格式在压缩状态下都是可拆分的，因此您无需在处理前手动解压，spark 会自动解压。

读取文本并另存为镶木地板的代码 -

val df = spark.read.text("path to text file")

df.write.option("codec","org.apache.hadoop.io.compress.snappyCodec").parquet("destination path")

//read the file back
spark.read.parquet("path to compressed file").show()

读取 CSV 并保存为 csv.gz 的代码。

val df = spark.read.csv("path to test.csv")
df.write.option("codec","org.apache.hadoop.io.compress.GzipCodec").csv("path to test2.gzip")

Answer 2

所以我通过不同的方法尝试将.txt.gz文件保存在SFTP中。 一些谷歌搜索我发现这是一个将文本文件压缩为.gz的Java代码，我只是在Scala中重写了这段代码，一切都很完美。

def zipFile(fileName1: String): Int = {
val gzpFile: String =  fileNameDotTxt + ".gz"

val SOURCE_FILE: String = pathToFileNameDotTxt 
val buffer: Array[Byte] = Array.ofDim[Byte](1024)
try {
  val gzos: GZIPOutputStream = new GZIPOutputStream(new FileOutputStream(gzpFile))
  val in: FileInputStream = new FileInputStream(SOURCE_FILE)
  var len: Int = 0
  while ({ len = in.read(buffer); len } > 0) gzos.write(buffer, 0, len)
  in.close()
  gzos.finish()
  gzos.close()


} catch {
  case ex: IOException =>
    ex.printStackTrace()

}

}

我们需要导入

import java.io.FileInputStream
import java.io.FileOutputStream
import java.util.zip.GZIPOutputStream

希望这会对其他人有所帮助。