用于 Spark 2 的 hbase-spark

Question

我想使用Scala从Spark 2对hbase进行完整扫描。

我没有固定的目录定义，因此不能选择作为SHC 的库。

我的逻辑选择是使用 hbase-spark，它在 Spark 1.6 中运行良好

除了之前版本中关于这个库的文档很差之外，我在检查最新的 HBase 版本时感到惊讶，例如标签 2.0 ， hbase-spark 不见了！ 但还是在主。

所以我的问题是：

• 最新版本的 hbase-spark 模块在哪里？
• 我在哪里可以找到与 Spark 2 兼容的 hbase-spark 版本？

谢谢！

Answer 1

似乎hbase-spark模块已从 v2.0 版本的 hbase 项目中删除

https://issues.apache.org/jira/browse/HBASE-18817

Answer 2

@bp2010 已经回答了部分问题。

关于 HBase Spark，请参见下文。 它适用于火花 2。

有一些选项不需要来自客户端代码的固定目录：

1. 带有示例的 HBase Spark 源代码在这里： https : //github.com/apache/hbase-connectors/tree/master/spark/hbase-spark在这里你可以看到关于存储库的解释： https : //github.com/apache /hbase-connectors/tree/master/spark/hbase-spark

2. Apache Phoenix Spark 连接器https://phoenix.apache.org/phoenix_spark.html

我不确定它是否对您有帮助，因为该表必须映射到 Phoenix 表。 如果您有 Phoenix，并且您的问题是从代码编写目录，但您可以标准化 HBase 表中的类型，对于完整扫描，这可能是要走的路。 否则，请选择选项 1。