Spark如何处理HADOOP_CONF_DIR？

Question

当我们想从 Spark 连接 HDFS 时，我们只需将 HADOOP_CONF_DIR 设置为，而不是将各种 arguments 传递给 Spark Conf

export HADOOP_CONF_DIR=/etc/hadoop/conf
/usr/hdp/current/spark-client/bin/spark-submit   --class org.apache.spark.examples.SparkPi   --master yarn   --deploy-mode cluster   --executor-memory 1G   --num-executors 3   /usr/hdp/current/spark-client/lib/spark-examples*.jar   100

spark如何处理HADOOP_CONF_DIR？ 这些配置文件是如何传递给 Hadoop 的？

Answer 1

1.HADOOP_CONF_DIR & spark-env.sh

使用 Yarn 运行 spark 时，需要在spark-env.sh中添加以下行

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意：检查 $HADOOP_HOME/etc/hadoop 在您的环境中是否正确。 spark-env.sh包含 HADOOP_HOME 的导出。

确保 HADOOP_CONF_DIR 或 YARN_CONF_DIR 指向包含 Hadoop 集群的（客户端）配置文件的目录。 这些配置用于写入 HDFS 并连接到 YARN ResourceManager。 此目录中包含的配置将分发到 YARN 集群，以便应用程序使用的所有容器使用相同的配置。

2.spark-defaults.conf

您所有的 memory 相关配置都将在spark-defaults.conf文件中。 在集群模式下在 YARN 上运行 Spark 时，需要使用 conf/spark-defaults.conf 文件中的 spark.yarn.appMasterEnv.[EnvironmentVariableName] 属性设置环境变量。 spark-env.sh 中设置的环境变量不会反映在集群模式下的 YARN Application Master 进程中。 有关更多信息，请参阅与 YARN 相关的 Spark 属性。

3.用应用管理器配置覆盖配置

根据 spark 文档，它清楚地表明如果您配置了 Yarn Cluster 管理器，那么它将覆盖 spark-env.sh 设置。 您可以在 Yarn-env 或 yarn-site 文件中检查本地 dir 文件夹设置吗？

“这将被集群管理器设置的 SPARK_LOCAL_DIRS (Standalone, Mesos) 或 LOCAL_DIRS (YARN) 环境变量覆盖。” 来源-https://spark.apache.org/docs/2.3.1/configuration.html