如何在Spark中處理大型GZ文件

Question

我正在嘗試讀取大的gz文件，然后將其插入表中。 這花了很長時間。

sparkSession.read.format("csv").option("header", "true").load("file-about-5gb-size.gz").repartition( 1000).coalesce(1000).write.mode("overwrite").format("orc").insertInto(table)

有什么我可以優化的方法，請幫忙。

注意：我使用了隨機分區和合並

Answer 1

如果文件采用gzip壓縮，則將無法進行讀取優化。 gzip壓縮無法在spark中拆分。 無法避免在spark驅動程序節點中讀取完整的文件。
如果要並行化，則需要通過unzip然后處理該文件來使其可拆分。