将数据从API加载到HBase

Question

我正在使用一个第三方服务，该服务聚合数据并公开用于访问数据的REST API。

我现在正在尝试获取这些数据并将其加载到我们的本地HBase群集中。 我创建了一个Java应用程序，该程序从该第三方服务获取数据，进行处理，然后使用HBase客户端API将其加载到我们的集群中。 对于此应用程序，我必须手动运行它，也不确定是否有多少HBase Client API有效地加载了批量数据。

我遇到了Sqoop和Cascading-dbmigrate从RDBMS进行批量传输。 我的问题是：是否有任何类似的工具可以从REST API进行批量数据传输？ 另外，还可以定期同步数据。

谢谢ArunDhaJ http://arundhaj.com

Answer 1

REST API并未像RDBMS一样标准化，据我所知，没有工具可以将API神奇地加载到HBase中，因此您需要构建一些工具。 对于此类繁重的HBase负载，一个好的做法是使用HBase批量负载，这将比仅使用HBase API消耗更少的CPU和网络资源。 这可以通过几个步骤完成：

1. 使用HFileOutputFormat作为OutputFormat使用Map / Reduce作业准备数据。 这样可以确保您的作业输出被编写为HFiles ，这是加载到HBase中的一种非常有效的格式。 您可以这样做：

    job.setOutputFormatClass(HFileOutputFormat.class); HFileOutputFormat.setOutputPath(job, path); 

2. 使用命令行工具completebulkload加载数据，该工具可以处理所有内容，因此您甚至不必担心区域服务器。 可以像这样手动完成：

    hadoop jar hbase-VERSION.jar completebulkload [-c /path/to/hbase/config/hbase-site.xml] /user/todd/myoutput mytable 

   我相信如果您使用HFileOutputFormat ，则此步骤会自动运行，因此您甚至不需要自己执行此步骤。

对过程的更多细节在这里

您需要做的就是将所有内容捆绑在一起，只需编写一个程序即可从API提取数据并将其加载到HDFS中。