使用Java API运行spark Hbase时，线程“ main”中的异常java.lang.NoClassDefFoundError：org / apache / hadoop / hbase / HBaseConfiguration

Question

我正在运行简单的应用程序以使用Java API从Spark中的 HBase获取数据

运行spark-submit命令，例如

bin/spark-submit --master spark://192.168.43.75:7077 --class com.scry.NLPAnnotationController --driver-class-path /usr/lib/hbase/hbase-0.98.22-hadoop2/conf:$SPARK_HOME/lib_managed/jars/*.jar:$HBASE_CLASSPATH/*.jar --jars $SPARK_HOME/lib_managed/jars/*.jar:$HBASE_CLASSPATH/*.jar /home/deepak/hbase.jar

它给像这样的错误

线程“主”中的异常java.lang.NoClassDefFoundError：org / apache / hadoop / hbase / HBaseConfiguration

请帮助解决此问题。

在此先感谢Deepak

Answer 1

在运行spark-submit的控制台中，首先执行以下命令，然后运行spark-submit

导出HADOOP_CLASSPATH = $ HADOOP_CLASSPATH：$ HBASE_CLASSPATH

如果这可行，则将此条目添加到您的hadoop-env.sh中

希望能帮助到你...