spark parquet - 如何加載 LZO 壓縮的鑲木地板文件

Question

我在本地保存了鑲木地板文件，通過以下方式加載：

val catDF = sqlContext.read.parquet("data.lzo.parquet") 

它識別架構，但每個查詢或操作返回相同的以下錯誤：

parquet.io.ParquetDecodingException：無法讀取塊 -1 中 0 處的值

Answer 1

將鑲木地板文件作為數據框加載就像您所說的一樣簡單

val catDF = sqlContext.read.parquet("data.parquet") 

你上面的代碼應該可以工作。 請檢查拼花位置是否正確

Answer 2

LZO（實木復合地板）壓縮問題，解決了向 sbt 配置添加依賴項的問題：

libraryDependencies ++= Seq("org.anarres.lzo" % "lzo-hadoop" % "1.0.0")

希望對某人有用。