以Apache Parquet格式写入数据

Question

我正在使用一个调度程序来获取我们的集群指标，并使用旧版本的Cloudera API将数据写入HDFS文件。 但最近，我们更新了我们的JAR和原始代码错误，但有一个例外。

java.lang.ClassCastException: org.apache.hadoop.io.ArrayWritable cannot be cast to org.apache.hadoop.hive.serde2.io.ParquetHiveRecord
at org.apache.hadoop.hive.ql.io.parquet.write.DataWritableWriteSupport.write(DataWritableWriteSupport.java:31)
at parquet.hadoop.InternalParquetRecordWriter.write(InternalParquetRecordWriter.java:116)
at parquet.hadoop.ParquetWriter.write(ParquetWriter.java:324)

我需要帮助使用ParquetHiveRecord类以镶木地板格式写入数据（即POJO）。

代码示例如下：

Writable[] values = new Writable[20];
... // populate values with all values
ArrayWritable value = new ArrayWritable(Writable.class, values);
writer.write(value); // <-- Getting exception here

“作家”（ParquetWriter类型）的详细信息：

MessageType schema = MessageTypeParser.parseMessageType(SCHEMA); // SCHEMA is a string with our schema definition
ParquetWriter<ArrayWritable> writer = new ParquetWriter<ArrayWritable>(fileName, new 
DataWritableWriteSupport() {
    @Override
    public WriteContext init(Configuration conf) {
        if (conf.get(DataWritableWriteSupport.PARQUET_HIVE_SCHEMA) == null)
            conf.set(DataWritableWriteSupport.PARQUET_HIVE_SCHEMA, schema.toString());
    }
});

此外，我们之前使用的是CDH和CM 5.5.1，现在使用的是5.8.3

谢谢！

Answer 1

我认为你需要使用DataWritableWriter而不是ParquetWriter 。 类ParquetHiveRecord异常表示写支持类期望ParquetHiveRecord的实例而不是ArrayWritable 。 DataWritableWriter可能会以ArrayWritable的形式将ParquetHiveRecord的各个记录ArrayWritable为单个消息，并将每个记录发送到写入支持。

实木复合地板有时会弯曲。 :)

Answer 2

查看DataWritableWriteSupport类的代码：https：//github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/io/parquet/write/DataWritableWriteSupport.java您可以看到它正在使用DataWritableWriter，因此您不需要创建DataWritableWriter的实例，Write支持的想法是您可以将不同的格式写入镶木地板。

您需要的是将您的可写文件包装在ParquetHiveRecord中