[英]spark Yarn mode how to get applicationId from spark-submit
当我使用带有主纱线和部署模式群集的spark-submit提交spark作业时,它不打印/返回任何applicationId,并且一旦完成作业,我就必须手动检查MapReduce jobHistory或spark HistoryServer以获取作业详细信息。
我的集群被许多用户使用,并且需要很长时间才能在jobHistory / HistoryServer中发现我的工作。
有什么方法可以配置spark-submit
返回applicationId?
注意:我发现了许多类似的问题,但是他们的解决方案使用sparkcontext.applicationId
在驱动程序代码中检索applicationId,如果是master yarn and deploy-mode cluster
sparkcontext.applicationId
和master yarn and deploy-mode cluster
则驱动程序也作为mapreduce作业的一部分运行,所有日志或sysout都打印到远程主机登录。
这是我用来实现此目的的方法:
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.