如何將HBase表以Parquet格式移動到HDFS？

Question

我必須構建一個工具，它將處理我們的數據存儲從HBase（HFiles）到HDFS的鑲木地板格式。

請建議將數據從HBase表移動到Parquet表的最佳方法之一。

我們必須將4億條記錄從HBase轉移到Parquet。 如何實現這一目標以及移動數據的最快方式是什么？

提前致謝。

問候，

Pardeep Sharma。

Answer 1

請查看這個項目tmalaska / HBase-ToHDFS ，它讀取HBase表並將其寫為Text，Seq，Avro或Parquet

鑲木地板的示例用法：

將數據導出到Parquet

hadoop jar HBaseToHDFS.jar ExportHBaseTableToParquet exportTest c export.parquet false avro.schema

Answer 2

我最近開了一個針對HBase的補丁，解決了你所描述的問題。 看看這里： https ： //github.com/ibm-research-ireland/hbaquet