不使用spark-submit.sh时，Spark如何知道纱线资源管理器在哪里运行？
[英]How does Spark know where the Yarn Resource Manager is running when not using spark-submit.sh?
问题描述
我对Spark还是很陌生，我试图在纱线群集模式下从我的应用程序内部启动Spark作业（不使用spark-submit.sh），并且试图弄清楚该作业如何了解Yarn ResourceManager的位置在跑。 我已经做好了
SparkConf sConf = new SparkConf().setMaster("yarn-cluster").set("spark.driver.memory", "10g");
但是我无法配置的是Yarn ResourceManager的位置。 关于我如何去做的任何想法？ 我有一个群集设置，其中Yarn RM与应用程序不在同一台计算机上运行。
2 个解决方案
解决方案1
1 2017-04-12 13:59:48
查看Spark Launcher API- org.apache.spark.launcher Java文档
或在此处阅读有关内容-SparkLauncher-启动Spark应用程序
解决方案2
0 2017-09-05 17:04:50
这些属性可以在HADOOP_CONF_DIR或YARN_CONF_DIR环境变量中的yarn-site.xml找到，这些变量在OS级别或spark-env.sh 。
在非HA部署中，您正在寻找yarn.resourcemanager.address
使用spark-submit运行Spark应用程序时出现ClassNotFoundException
[英]ClassNotFoundException when running Spark application with spark-submit
在 Yarn 上运行 Spark 作业时，HDFS Excel Rows 减少了
[英]HDFS Excel Rows got decreased when running the spark job on Yarn
Spark中的Spark Hive Context hql问题 - 在yarn中运行spark job时
[英]Spark Hive Context hql issues in java - when running spark job in yarn
使用Spark的REST API进行提交时，驱动程序在哪里运行以及如何访问SparkSession？
[英]Where does driver run and how to access SparkSession when using Spark's REST API for submission?
如何在不使用spark-submit的情况下将java程序中的spark作业提交到独立的spark集群？
[英]How to submit spark job from within java program to standalone spark cluster without using spark-submit?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
使用spark提交运行spark应用程序
使用--jars的spark-submit yarn-cluster不起作用？
为什么 spark-submit 无法部署到 YARN？
使用spark-submit运行Spark应用程序时出现ClassNotFoundException
如何通过Yarn，Hadoop提交Spark Scala作业
在 Yarn 上运行 Spark 作业时，HDFS Excel Rows 减少了
Spark提交的HDFS路径和YARN上的Flink
Spark中的Spark Hive Context hql问题 - 在yarn中运行spark job时
使用Spark的REST API进行提交时，驱动程序在哪里运行以及如何访问SparkSession？
如何在不使用spark-submit的情况下将java程序中的spark作业提交到独立的spark集群？
相关标签