Spark提交YARN模式HADOOP_CONF_DIR内容

Question

我试图在YARN模式下使用spark submit在hadoop集群上启动spark任务。

我正从我的开发机器启动spark-submit。

根据Running Spark On YARN文档，我应该在env var HADOOP_CONF_DIR或YARN_CONF_DIR上提供hadoop集群配置的路径。 这是一个棘手的问题：如果我将任务发送到远程YARN服务，为什么这些文件夹必须存在于我的本地计算机上？ 这是否意味着spark-submit必须位于群集内部 ，因此我无法远程启动spark任务？ 如果没有，我应该用这些文件夹填充什么？ 我应该从任务管理器服务所在的YARN群集节点复制hadoop配置文件夹吗？

Answer 1

1）提交作业时，Spark需要知道它连接的内容。 解析文件，并使用所需的配置连接到Hadoop集群。 请注意，在文档中他们说它是客户端配置 （在第一句中），这意味着您实际上不需要所有配置连接到文件中的集群（以最简单的配置连接到非安全的Hadoop集群） ）你至少需要以下配置：

• fs.defaultFS （如果您打算从HDFS读取）
• dfs.nameservices
• yarn.resourcemanager.hostname或yarn.resourcemanager.address
• yarn.application.classpath
• （可能需要其他人，具体取决于配置）

您可以通过在要提交的作业的代码中设置相同的设置来避免使用文件：

SparkConf sparkConfiguration = new SparkConf();
sparkConfiguration.set("spark.hadoop.fs.defaultFS", "...");
...

2）Spark提交可以位于任何机器上，不一定在集群上，只要它知道如何连接到集群（你甚至可以从Eclipse运行提交，无需安装任何东西，但项目依赖关系，与Spark相关） 。

3）您应该使用以下命令填充配置文件夹：

• 核心的site.xml
• 纱的site.xml
• HDFS-site.xml中
• mapred-site.xml中

从服务器复制这些文件是一种最简单的方法。 您可以删除某些配置，这些配置不是spark-submit所必需的，或者可能是安全敏感的。