Spark Cassandra 加入ClassCastException

Question

我正在嘗試連接兩個 Cassandra 表： t1.join(t2, Seq("some column"), "left")我收到以下錯誤消息：

Exception in thread "main" java.lang.ClassCastException: scala.Tuple8 cannot be cast to scala.Tuple7 at org.apache.spark.sql.cassandra.execution.CassandraDirectJoinStrategy.apply(CassandraDirectJoinStrategy.scala:27)

我正在使用 cassandra v3.11.13 和 Spark 3.3.0。 代碼依賴：

  libraryDependencies ++= Seq(
      "org.scalatest" %% "scalatest" % "3.2.11" % Test,
      "com.github.mrpowers" %% "spark-fast-tests" % "1.0.0" % Test,
      "graphframes" % "graphframes" % "0.8.1-spark3.0-s_2.12" % Provided,
      "org.rogach" %% "scallop" % "4.1.0" % Provided,
      "org.apache.spark" %% "spark-sql" % "3.1.2" % Provided,
      "org.apache.spark" %% "spark-graphx" % "3.1.2" % Provided,
      "com.datastax.spark" %% "spark-cassandra-connector" % "3.2.0" % Provided)

非常感謝您的幫助

Answer 1

Spark Cassandra 連接器尚不支持 Apache Spark 3.3.0，我懷疑這是它無法正常工作的原因，盡管我自己沒有進行任何驗證。

SPARKC-686中已請求支持 Spark 3.3.0，但所需的工作量很大，敬請期待。

最新支持的 Spark 版本是 3.2 ，使用 spark-cassandra-connector 3.2。 干杯!

Answer 2

此提交添加了對 Spark 3.3.x 的初始支持，盡管在此評論時它正在等待 RC/發布，因此您暫時需要自己構建和 package jars 才能開始使用它們來解決上述問題使用 spark 3.3 時出錯。 作為活躍用戶，這可能是提供任何后續 RC 反饋的好機會。

當 RC 的/穩定版本可用時，我將更新此評論，這應該可以解決其他遇到此問題的上述問題。 不幸的是，我沒有足夠的聲譽將此評論添加到上面的線程。