如何使用Pig在hbase中加載數據

Question

我想通過pig加載數據並將其處理成HBase。 我已將文本文件加載到HDFS。 然后我在豬上使用了以下命令。

A = LOAD '/tmp/hive-Vijay.Shinde/file.txt' USING PigStorage(',')
 as (strdata1:chararray, strdata2:int); 

然后我用了，

STORE A INTO 'mydata' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('mycf:strdata2');

mydata是HBase中的表格。

它給出錯誤： Unhandled internal error

Answer 1

1. 嘗試在pig文件中注冊hbase jar。 例如。 注冊/home/hadoop/lib/hbase-0.92.0.jar
2. 確保在插入數據之前使用列族創建了hbase表。
3. 還提到了hadoop，pig和hbase的版本。

4. 您還可以使用Web界面檢查調試日志。 如果您在本地運行集群，請使用localhost / jobtracker.jsp

   這將為您提供有關作業的更有用的日志信息。

Answer 2

該聲明可能有效：

STORE A into 'hbase://table_name' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('cf1:*');