DSE Cassandra的CDH火花有guava-16.0.1.jar沖突問題

Question

我們使用DSE4.8.3 Cassandra在oozie中運行CDH5.5.0 Spark，只是發現DSE Cassandra存在如下的guava-16.0.1.jar沖突問題。

Oozie Launcher失敗，主類[org.apache.oozie.action.hadoop.SparkMain]，main（）引發異常，com.google.common.reflect.TypeToken.isPrimitive（）Z java.lang.NoSuchMethodError：com.google。 common.reflect.TypeToken.isPrimitive（）z

DSE 4.8.3中的Cassandra版本為2.1.11.969。 CDH 5.5.0中的Spark版本為1.5.0。 用於cassandra驅動程序和連接器。

1.如果我們使用cassandra-driver-core-2.2.0-rc3.jar和spark-cassandra-connector_2.10-1.5.0-M2.jar，它們都使用guava-16.0.1.jar作為依賴項，在CDH中拋出異常“未找到方法：com.google.common.reflect.TypeToken.isPrimitive（）Z”（CDH5.5.0 spark使用guava-14.0.1.jar，而不是guava-16.0.1.jar）。

2.如果我們使用較低版本的cassandra-driver-core-2.2.0-rc1.jar和spark-cassandra-connector_2.10-1.5.0-M1.jar，它們都使用guava-14.0.1.jar作為依賴項，它引發了以下異常：線程“ main”中的異常java.lang.AbstractMethodError：com.datastax.spark.connector.cql.LocalNodeFirstLoadBalancingPolicy.close（）V

在com.datastax.driver.core.Cluster $ Manager.close（Cluster.java:1417）

在com.datastax.driver.core.Cluster $ Manager.access $ 200（Cluster.java:1167）

在com.datastax.driver.core.Cluster.closeAsync（Cluster.java:461）

在com.datastax.driver.core.Cluster.close（Cluster.java:472）

位於com.datastax.spark.connector.cql.CassandraConnector $ .com $ datastax $ spark $ connector $ cql $ CassandraConnector $$ createSession（CassandraConnector.scala：163）

我找到了此異常的答案：（例如，使用較高版本的spark-cassandra-connector_2.10-1.5.0-M2.jar將解決此問題） Spark + Cassandra連接器失敗，並顯示LocalNodeFirstLoadBalancingPolicy.close（）

因此，現在，我們對Cassandra依賴項問題感到迷惑。 如何解決此cassandra guava-16.0.1依賴問題？ 是否可以建立一個同時解決這兩個問題的新spark-cassandra-connector.jar？ 您可以幫助解決此問題嗎？ 謝謝！

Answer 1

應該沒有C * Driver依賴項，因為應該將其與Spark Cassandra Connector依賴項作為傳遞性依賴項自動引入。 我將使用1.5.0版本。 然后，您需要確保在構建時排除所有其他番石榴版本。

這意味着確保如果要制作一個胖子罐，則代碼中不包含任何Spark發行版，並且所有Hadoop庫都排除了Guava。

有關更多詳細信息，還有其他一些郵件線程

檢測到Guava問題＃1635，表明正在使用的Guava版本低於16.01。 https://groups.google.com/a/lists.datastax.com/forum/#!topic/spark-connector-user/HnTsWJkI5jo

番石榴的問題https://groups.google.com/a/lists.datastax.com/forum/#!topic/spark-connector-user/uB_DN_CcK2k