Apache Spark / Scala批量插入/更新到HBASE

Question

以下是我的情況：

1. 最初使用Sqoop將數據加載到HBASE （已完成）
2. 現在，我將每天獲得一批數據（大約600000條記錄），這些數據是新數據（用於將新記錄插入到HBASE中）和舊數據（用於更新HBASE的現有記錄）的組合。 現在我的問題是：

如何使用Spark / scala到Hbase表執行此操作。

非常感謝您的早日答復。

謝謝蘇維克

Answer 1

我建議您閱讀該問題的答案以獲取概述。

在我的回答中，我提到了幾個可以使用的選項：

• hbase-spark ，直接在HBase存儲庫中可用的模塊
• Hortonworks 在HBase上進行Spark

由於您使用的是Spark 1.6.1，因此可以使用其中任何一個。 在HBase的火花DataFrames工作的例子可以發現在這里 ，而火花上的HBase類似的例子可以發現在這里 。