[英]setting compression on hive table
我有一個基於avro架構的hive表。 該表是使用以下查詢創建的
CREATE EXTERNAL TABLE datatbl PARTITIONED BY (date String, int time) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' WITH SERDEPROPERTIES ( 'avro.schema.url'='path to schema file on HDFS') STORED as INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat' LOCATION '<path on hdfs>'
到目前為止,我們通過設置以下屬性將數據插入到表中
hive> set hive.exec.compress.output=true; hive> set avro.output.codec=snappy;
但是,如果有人忘記設置上述兩個屬性,則無法實現壓縮。 我想知道是否有辦法對表本身強制執行壓縮,以便即使未設置上述兩個屬性,數據也始終被壓縮?
是的,您可以在表格中設置屬性。 請嘗試以下方法:
CREATE EXTERNAL TABLE datatbl PARTITIONED BY (date String, int time)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
WITH SERDEPROPERTIES ( 'avro.schema.url'='path to schema file on
HDFS') STORED as INPUTFORMAT
'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat' LOCATION
'<path on hdfs>'
TBLPROPERTIES ( "orc.compress"="SNAPPY" );
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.