如何在 Pycharm 中将 jar 添加到 Spark

Question

我想在 PyCharm 中调试 Spark 代码，因为它更容易调试。 但是我需要添加一个spark-redis.jar否则Failed to find data source: redis

连接redis的代码是

spark = SparkSession \
            .builder \
            .appName("Streaming Image Consumer") \
            .config("spark.redis.host", self.redis_host) \
            .config("spark.redis.port", self.redis_port) \
            .getOrCreate()

如果使用 PyCharm 如何修复它？

我曾尝试在$SPARK_HOME/conf/spark-defaults.conf添加spark.driver.extraClassPath但它不起作用。

我还尝试在运行配置中添加环境变量PYSPARK_SUBMIT_ARGS --jars ...但它引发了其他错误

Answer 1

将spark.driver.extraClassPath添加到spark-defaults.conf对我来说适用于 Spark 2.3.1

cat /Users/oleksiidiagiliev/Soft/spark-2.3.1-bin-hadoop2.7/conf/spark-defaults.conf

spark.driver.extraClassPath /Users/oleksiidiagiliev/.m2/repository/com/redislabs/spark-redis/2.3.1-SNAPSHOT/spark-redis-2.3.1-SNAPSHOT-jar-with-dependencies.jar

请注意，这是一个带有依赖项的 jar（您可以使用mvn clean install -DskipTests从源构建一个）。

Aslo我将pyspark库和SPARK_HOME环境变量添加到PyCharm项目中，如下所述https://medium.com/parrot-prediction/integrating-apache-spark-2-0-with-pycharm-ce-522a6784886f