当使用 master 'yarn' 运行时，必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR

Question

我正在尝试使用 yarn 运行 Spark，但遇到了这个错误：

线程“main”中的异常 java.lang.Exception：使用主“yarn”运行时，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR 。

我不确定“环境”在哪里（具体是什么文件？）。 我尝试使用：

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在 bash_profile 中，但这似乎没有帮助。

Answer 1

使用 Yarn 运行 spark 时，您需要在spark-env.sh添加以下行

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意：检查 $HADOOP_HOME/etc/hadoop 在您的环境中是否正确。 spark-env.sh 也包含 HADOOP_HOME 的导出。

Answer 2

对于 Windows 环境，打开 Spark bin 文件夹中的文件 load-spark-env.cmd 并添加以下行：

set HADOOP_CONF_DIR=%HADOOP_HOME%\etc\hadoop

Answer 3

只是 Shubhangi 回答的更新，

 cd $SPARK_HOME/bin
 sudo nano load-spark-env.sh

添加以下行，保存并退出

导出 SPARK_LOCAL_IP="127.0.0.1"

导出 HADOOP_CONF_DIR="$HADOOP_HOME/etc/hadoop"

export YARN_CONF_DIR="$HADOOP_HOME/etc/hadoop"