spark parquet - 如何加载 LZO 压缩的镶木地板文件

Question

我在本地保存了镶木地板文件，通过以下方式加载：

val catDF = sqlContext.read.parquet("data.lzo.parquet") 

它识别架构，但每个查询或操作返回相同的以下错误：

parquet.io.ParquetDecodingException：无法读取块 -1 中 0 处的值

Answer 1

将镶木地板文件作为数据框加载就像您所说的一样简单

val catDF = sqlContext.read.parquet("data.parquet") 

你上面的代码应该可以工作。 请检查拼花位置是否正确

Answer 2

LZO（实木复合地板）压缩问题，解决了向 sbt 配置添加依赖项的问题：

libraryDependencies ++= Seq("org.anarres.lzo" % "lzo-hadoop" % "1.0.0")

希望对某人有用。