如何在Hive CDH中創建ORC文件？

Question

我可以輕松地在Apache Hadoop或Hortonworks的HDP中創建ORC文件格式：

CREATE TABLE ... STORED AS ORC

但是，這在Cloudera的CDH 4.5中不起作用。 （驚訝！）我得到：

失敗：SemanticException STORED AS子句中的無法識別的文件格式：ORC

因此，作為替代方案，我嘗試下載並安裝包含ORC類的Hive jar：

hive> add jar /opt/cloudera/parcels/CDH-4.5.0-1.cdh4.5.0.p0.30/lib/hive/lib/hive-exec-0.11.0.jar;

然后創建我的ORC表：

hive>    CREATE TABLE test (name STRING)

> row format serde
> 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
>  stored as inputformat
>   'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'   
>   outputformat
>   'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat';
OK

但是從一些CSV數據插入到此表后，出現錯誤：

hive> INSERT OVERWRITE TABLE test 
> SELECT name FROM textdata;

    Diagnostic Messages for this Task:
java.lang.RuntimeException: Error in configuring object
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:413)

如何在CDH的Hive中創建ORC表？

Answer 1

CDH 4.5包含Hive 0.10，請參閱CDH版本4.5.0包裝和Tarball 。 在Hive 0.11中添加了ORC，請參見發行說明和HIVE-3874：為Hive創建新的“優化行列”文件格式 。

CDH 5現在處於Beta版，但它確實包含Hive 0.11，請參閱CDH版本5.0.0 Beta 1 。