如何通过JAVA在Spark中从HBASE读取/写入数据

Question

我可以通过HBASE项目提供的JAVA api从HBASE读取/写入数据。 但是通过这种方式，读取操作将在spark驱动程序中处理，这似乎不是一个聪明的方法。 是否有某种火花方法可以从HBASE读取数据，以便可以在不同的工人中完成读取操作以提高性能？

Answer 1

Is there some spark way to read data from HBASE

是

• 您可以在HBase上使用Apache Phoenix。
• Phoenix在HBase之上提供了类似SQL的层。
• 通过使用SQLContext在Spark中加载HBase表。
• 只需包含hbase-phoenix客户端jar和spark-csv databricks jar

Spark代码读取Hbase表

================================================== ==============

sqlContext.read.format("org.apache.phoenix.spark")
.option("table","HBase_table_name")
.option("zkUrl","Master_node_DNS_name:2181")
.load()
.registerTempTable("tempTblName")