SPARK YARN：无法从客户端发送作业（org.apache.hadoop.ipc.Client-重试连接到服务器：0.0.0.0/0.0.0.0:8032）

Question

我正在尝试在HA模式下将火花作业发送到纱线（没有HDFS）。

对于提交，我使用的是org.apache.spark.deploy.SparkSubmit 。 当我从具有活动资源管理器的计算机发送请求时，它运行良好。 但是，如果我尝试使用备用资源管理器从计算机发送邮件，则作业将失败并显示以下错误：

DEBUG org.apache.hadoop.ipc.Client - Connecting to spark2-node-dev/10.10.10.167:8032
DEBUG org.apache.hadoop.ipc.Client - Connecting to /0.0.0.0:8032
org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep

但是，当我通过命令行（spark-submit）发送请求时，它在主用计算机和备用计算机上都能正常工作。

是什么原因引起的？

PS对两种类型的发送作业使用相同的参数： org.apache.spark.deploy.SparkSubmit和spark-submit命令行请求。 并为所有rm主机定义了属性yarn.resourcemanager.hostname.rm_id

Answer 1

问题是在火花发送器jar的类路径中缺少yarn-site.xml。 实际上，火花提交器jar并没有考虑YARN_CONF_DIR或HADOOP_CONF_DIR YARN_CONF_DIR ，因此看不到纱线位置。

我发现的一种解决方案是将纱线位置放入jar的类路径中。