带有拼花地板数据的配置单元外部表未选择数据

Question

我的Hive外部表有实木复合地板数据。 这里没有利用压缩。 我正在使用Spark作业将数据（镶木地板文件）写入HDFS目录。 但是，当我尝试从表中选择数据时，出现以下错误/警告，并且没有出现输出。 我确信这是一个普遍的问题。 请让我知道我该如何克服？

蜂巢-1.2.1000.2.5.0.0-1245 hdp-2.5.0.0-1245火花版本1.6.2

2017年6月1日下午5:04:27警告：org.apache.parquet.CorruptStatistics：由于无法解析created_by而忽略统计信息（请参阅PARQUET-251）：parquet-mr版本1.6.0 org.apache.parquet.VersionParser $ VersionParseException：无法使用以下格式来解析created_by：parquet-mr版本1.6.0：（。+）version（（。 ））？（build？（。 ）），位于org.apache.parquet.VersionParser.parse（VersionParser.java： 112）位于org.apache.parquet.CorruptStatistics.shouldIgnoreStatistics（CorruptStatistics.java:60）位于org.apache.parquet.format.converter.ParquetMetadataConverter.fromParquetStatistics（ParquetMetadataConverter.java:263）

似乎是因为在spark作业中使用的实木复合地板作家版本与在Hive中用于阅读的实木复合地板作家版本不同，并且两者之间存在差距。 在这里，我们可以看到在Hive中用于读取的版本是parquet-mr版本1.6.0。

现在，如果有人可以告诉我如何更改用于火花作业的镶木地板书写器的版本或如何更改Hive镶木地板阅读器的版本，我可以尝试解决该问题。

Answer 1

您看到的异常是无害的。