Spark 中壓縮鑲木地板文件的擴展

Question

在我的 Spark 作業中，我編寫了一個壓縮的 parquet 文件，如下所示：

df
  .repartition(numberOutputFiles)
  .write
  .option("compression","gzip")
  .mode(saveMode)
  .parquet(avroPath)

然后，我的文件有這個擴展名：file_name .gz.parquet

我怎樣才能擁有“.parquet.gz” ？

Answer 1

我不相信你可以。 文件擴展名在ParquetWrite.scala中硬編碼為編解碼器 +“.parquet”的串聯：

  :
    override def getFileExtension(context: TaskAttemptContext): String = {
      CodecConfig.from(context).getCodec.getExtension + ".parquet"
    }
  :