從 Kafka 主題將數據寫入 Cassandra 表失敗

Question

我編寫了簡單的工作，它使用來自 Kafka 主題的數據並將其寫入 cassandra 表。 我可以看到數據正在打印到控制台，但是當將其寫入 Cassandra 作業失敗時 -

java.lang.NoSuchMethodError: scala.collection.JavaConverters$.mapAsScalaMapConverter  

我正在使用 Kafka 3.2.1、Cassandra 3.11.13、pyspark 3.3.0。

我的 spark-submit 命令 -

spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.13:3.3.0,com.datastax.spark:spark-cassandra-connector_2.12:3.2.0,org.apache.kafka:kafka-clients:3.2.1 --jars /home/hdoop/jars/jsr166e-1.1.0.jar iwd_dproc_new.py

Answer 1

您正在使用為不同的 Scala 版本編譯的連接器：

• Kafka 連接器使用 Scala 2.13 編譯
• Cassandra 連接器編譯為 Scala 2.12

It's not clear what version of Scala is used for Spark, but you need to take version that uses Scala 2.12, because there is no Spark Cassandra Connector for Scala 2.13. 並調整 Kafka 連接器版本