Spark-submit 错误行 71：/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home/bin/java：Mac 中没有这样的文件或目录

Question

我试图在独立模式下运行 spark 应用程序，在我尝试运行 spark-submit 命令时安装 spark 后发现上述错误未找到 java 文件。 尝试了两种不同的方法。

• 方法 1 ：能够通过更改环境文件来删除额外的“/”，但问题仍然存在
• 方法 2 ：使具有 java home 的文件保持一致，但无法找到我可以看到的 spark.conf 文件以使其保持一致。
• 方法 3：尝试更改 bash 配置文件，但也没有结果

下面是我的 bash_profile

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home

export SPARK_HOME=/Users/xxxx/server/spark-2.3.0-bin-hadoop2.7

export SBT_HOME=/Users/xxxx/server/sbt

export SCALA_HOME=/Users/xxxx/server/scala-2.11.12

export PATH=$JAVA_HOME/bin:$SBT_HOME/bin:$SBT_HOME/lib:$SCALA_HOME/bin:$SCALA_HOME/lib:$PATH

export PATH=$JAVA_HOME/bin:$SPARK_HOME:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

export PYSPARK_PYTHON=python3

这是我的 etc/environment 文件：

JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home"

有什么办法可以帮助我解决这个问题，尝试从 2 天开始在我的Mac上运行 spark-scala 应用程序。

Answer 1

这应该可以帮助您如何在 CentOS 中获取 java 路径？

它们通常驻留在 /usr/lib/jvm 中。 您可以通过 ll /usr/lib/jvm 列出它们。 在jenkins的JAVA_HOME字段中需要输入的值为/usr/lib/jvm/jdk1.8.0_192

这里应该存在 bin 路径，并将其作为 Java 主路径。

Answer 2

首先可以检查Java环境变量是否配置成功，然后检查“sparkenv.conf”中的java_home路径是否存在，是否正确。 我希望我能帮助你。

Answer 3

如果您在 Python 中运行，您可以按如下方式设置 Java 环境变量：

步骤 1. 找出您的 Java/jdk 在哪里：

echo $(/usr/libexec/java_home -v 1.8)

（或! echo $(/usr/libexec/java_home -v 1.8)在 Jupyter 笔记本单元中）

步骤 2. 手动配置 Java 位置：

import os
os.environ["JAVA_HOME"] = <path-you-obtained>

这对我使用 pyspark 2.4.x 有用