我正在尝试使用 yarn 运行 Spark,但遇到此错误:

线程“main”中的异常 java.lang.Exception:当使用主“纱线”运行时,必须在环境中设置HADOOP_CONF_DIRYARN_CONF_DIR

我不确定“环境”在哪里(什么特定文件?)。 我尝试使用:

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在 bash_profile 中,但这似乎没有帮助。

#1楼 票数:14

使用 Yarn 运行 spark 时,您需要在spark-env.sh添加以下行

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意:检查 $HADOOP_HOME/etc/hadoop 在您的环境中是否正确。 spark-env.sh 也包含 HADOOP_HOME 的导出。

#2楼 票数:-2

只是 Shubhangi 回答的更新,

 cd $SPARK_HOME/bin
 sudo nano load-spark-env.sh

添加以下行,保存并退出

导出 SPARK_LOCAL_IP="127.0.0.1"

导出 HADOOP_CONF_DIR="$HADOOP_HOME/etc/hadoop"

export YARN_CONF_DIR="$HADOOP_HOME/etc/hadoop"

  ask by user1072337 translate from so

未解决问题?本站智能推荐:

2回复

例外:java.lang.Exception:当使用master'yarn'运行时,必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。在火花中

我是新的apache-spark。 我已经在spark独立模式下测试了一些应用程序。但是我想运行应用程序纱线模式。我在windows中运行apache-spark 2.1.0。这是我的代码 例外:当使用主'yarn'运行时,必须在环境中设置HADOOP_CONF_DIR或YARN_CO
1回复

HADOOP_CONF_DIR已经设置仍然出现错误,必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR

尝试使用YARN在群集上运行一个简单的应用程序。 我都设置了 在spark-env.sh文件中,仍然出现此错误。 我是否还需要更改其他文件? 是否有任何文档,我在哪里出错?
1回复

Apache Airflow - Spark 提交失败 - 使用主“纱线客户端”运行时,必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR

我是 Spark 和 Airflow 的新手,并试图创建一个在 pyspark 中运行 Spark 提交作业的 DAG。 在我的 Ubuntu 系统中,我创建了一个名为“hadoopusr”的用户,我通过它手动运行我的 spark 提交。 所有环境变量都在该用户下的/.bashrc中设置。 当我
1回复

Spark提交YARN模式HADOOP_CONF_DIR内容

我试图在YARN模式下使用spark submit在hadoop集群上启动spark任务。 我正从我的开发机器启动spark-submit。 根据Running Spark On YARN文档,我应该在env var HADOOP_CONF_DIR或YARN_CONF_DIR上提供h
1回复

Spark 如何处理 HADOOP_CONF_DIR?

当我们想从 Spark 连接 HDFS 时,我们只需将 HADOOP_CONF_DIR 设置为而不是将各种参数传递给 Spark Conf spark 如何处理 HADOOP_CONF_DIR? 这些配置文件是如何传递给Hadoop的?
1回复

使用Yarn-client在Google Cloud上的Hadoop中运行JAR

我想使用Yarn-client在Google Cloud上的Hadoop中运行JAR。 我在hadoop的主节点中使用此命令 但它返回此错误 问题是什么? 如果有用,这是我的yarn-site.xml
1回复

在Yarn上运行时,容器/资源分配在Hadoop和Spark中意味着什么?

当Spark在内存中运行时,在纱线上运行时资源分配在Spark中意味着什么,它与hadoop的容器分配有何不同? 只是想知道hadoop的数据和计算是否在磁盘上,就像Spark在内存中一样。
1回复

Spark:设置conf.yarn.jar时出现未知/不受支持的参数错误

当我使用spark-submit提交它时,有一个小应用程序可以在基于Yarn的Spark集群上正常运行: 但是,我想避免每次都上传spark-assembly.jar文件,因此我设置了spark.yarn.jar配置参数: 起初这似乎很好: 但是,最终失败: 在“