简体   繁体   English

如何加载分区到 Hbase 表的 hive orc

[英]How to load hive orc partitioned to Hbase table

I'm completely beginning into hbase data store, we are currently migrating hive external file system with orc file format.我完全开始使用 hbase 数据存储,我们目前正在使用 orc 文件格式迁移 hive 外部文件系统。 Past 2 years data needs to move to hbase tables, i seen few of bulkload approach hcatalog and pig using but not orc file format.过去 2 年的数据需要移动到 hbase 表,我看到很少有批量加载方法 hcatalog 和 pig 使用但不是 orc 文件格式。 Can you please help me out or give me some suggestion on this issue.你能帮我解决这个问题或给我一些建议吗? Here i mentioned hive table schema structure also;这里我也提到了 hive 表架构结构;

CREATE EXTERNAL TABLE countTbl (
 client_id bigint,
 count1 bigint,
 inserted_at bigint,
count2 bigint,
 date_time bigint,
id_dic STRUCT<id1:array<STRING>,id2:array<BIGINT>>,
 partition_date string
)
partitioned by (primaryid string)
stored as orc
LOCATION 'hdfs://user/hadoop/countTbl'; 

hbase 仅支持简单的数据类型,您的 hive 表字段id_dic应该简化以存储到 hfile 您可以使用 hive 表项目到 hbase 或批量加载到 hbase

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM