java.lang.ClassNotFoundException：org.apache.spark.Logging

Question

我剛剛升級到Spark 2.1.0，並決定使用beeline測試我的數據，但是由於某些原因，它給了我：

錯誤：org.spark_project.guava.util.concurrent.UncheckedExecutionException：java.lang.ClassNotFoundException：org.apache.spark.Logging已在Spark 2.0中刪除。 請檢查您的庫是否與Spark 2.0兼容（state =，code = 0）

我重命名了舊目錄，所以所有文件都是新的。 我不是在運行自己的代碼，而是運行Spark附帶的beeline。

這是我遵循的步驟：

cd /usr/local/spark
./sbin/start-thriftserver.sh --master spark://REMOVED:7077 --num-executors 2 --driver-memory 6G --executor-cores 6 --executor-memory 14G --hiveconf hive.server2.thrift.port=10015 --packages datastax:spark-cassandra-connector:1.6.4-s_2.11 --conf spark.cassandra.connection.host=REMOVED --conf spark.cassandra.auth.username=REMOVED --conf spark.cassandra.auth.password=REMOVED
./bin/beeline -u jdbc:hive2://REMOVED:10015

所以我不太確定現在該怎么辦，請問有什么建議嗎？

Answer 1

您還需要更新datastax:spark-cassandra-connector 。 請試試：

--packages datastax:spark-cassandra-connector:2.0.0-M3-s_2.11