HBase Spark-与Spark 2.0的连接

Question

一直在尝试使用Spark＆Scala将数据写入HBase。 要求是-我必须根据业务来源的列的时间戳设置HBase记录的TTL。

我无法编译我的代码，详细信息如下。

1. 我为此使用HBase Spark Alpha 4连接器（hbase-spark-2.0.0-alpha4.jar） 。
2. 将列的时间戳值转换为Epoch Timestamp，并尝试基于此设置TTL。
3. 当我尝试在Spark Shell中执行相同的代码时-它正在无缝执行，并且能够在HBase中看到预期的输出。
4. 但是，当我尝试在Eclipse中进行编译时-失败，并显示以下错误。

 [ERROR] error: missing or invalid dependency detected while loading class file 'HBaseContext.class'. [INFO] Could not access type Logging in package org.apache.spark, [INFO] because it (or its dependencies) are missing. 

有人可以提供解决此问题的意见吗？

Answer 1

就我而言，我重新编译了连接器： https : //github.com/apache/hbase-connectors.git和基于我的项目的参数。 就像：

mvn -Dspark.version=2.2.2 -Dscala.version=2.11.7 -Dscala.binary.version=2.11 clean install

没有错误。

提示：Maven中心仓库中的groupId与groupId不同