Spark/Hadoop/Scala/Java/Python 之间是否存在版本兼容性问题？

Question

我在通过 cmd 运行 spark-shell 命令时遇到错误，但不幸的是到目前为止没有任何运气。 我安装了 Python/Java/Spark/Hadoop(winutils.exe)/Scala，版本如下：

• 蟒蛇：3.7.3
• Java：1.8.0_311
• 火花：3.2.0
• Hadoop（winutils.exe）：2.5x
• Scala sbt: sbt-1.5.5.msi

我按照以下步骤运行 spark-shell（ C:\\Program Files\\spark-3.2.0-bin-hadoop3.2\\bin> ）通过 cmd：

1. 创建JAVA_HOME变量： C:\\Program Files\\Java\\jdk1.8.0_311\\bin
2. 将以下部分添加到您的路径中： %JAVA_HOME%\\bin
3. 创建SPARK_HOME变量： C:\\spark-3.2.0-bin-hadoop3.2\\bin
4. 将以下部分添加到您的路径中： %SPARK_HOME%\\bin
5. Hadoop 路径中最重要的部分应该在winutils.exe之前包含 bin 文件，如下所示： C:\\Hadoop\\bin确保您将在此路径中找到winutils.exe 。
6. 创建HADOOP_HOME变量： C:\\Hadoop
7. 将以下部分添加到您的路径中： %HADOOP_HOME%\\bin

我错过了什么吗？ 我在另一个线程中发布了带有错误详细信息的问题（ spark-shell 命令抛出此错误：SparkContext: Error initializing SparkContext ）

Answer 1

您手动安装所有东西都走得很艰难。 您可能也需要 Scala，对您正在安装的版本保持高度警惕，从您的示例来看，它似乎是 Scala 2.12。

但您是对的：Spark 在版本匹配方面要求极高。 Java 8 很好。 Java 11 也可以，但不是最新版本。

或者，您可以：

1. 尝试一个非常简单的应用程序，如https://github.com/jgperrin/net.jgp.books.spark.ch01
2. 将 Docker 与预先制作的镜像一起使用，如果您的目标是使用 Python，我会推荐一个预先配置了 Jupiter 和 Spark 的镜像。