java.lang.NoClassDefFoundError: scala/Product$class 使用从 PySpark 读取 function

Question

我是 PySpark 的新手，我只是想从我的红移库中读取一张表。

代码如下所示：

import findspark
findspark.add_packages("io.github.spark-redshift-community:spark-redshift_2.11:4.0.1")
findspark.init()    
spark = SparkSession.builder.appName("Dim_Customer").getOrCreate()
df_read_1 = spark.read \
    .format("io.github.spark_redshift_community.spark.redshift") \
    .option("url", "jdbc:redshift://fake_ip:5439/fake_database?user=fake_user&password=fake_password") \
    .option("dbtable", "dim_customer") \
    .option("tempdir", "https://bucket-name.s3.region-code.amazonaws.com/") \
.load()

我收到错误：java.lang.NoClassDefFoundError: scala/Product$class

我正在使用 Spark 版本 3.2.2 和 Python 3.9.7

有人可以帮我吗？ 先感谢您！

Answer 1

您使用的 spark-redshift 连接器版本错误 - 您的版本适用于使用 Scala 2.11 的 Spark 2.4，而您需要使用 Scala 2.12 的 Spark 3 版本 - 将版本更改为最近发布的 5.1.0（所有发布的版本在这里列出）