繁体   English   中英

Spark Yarn模式如何从spark-submit获取applicationId

[英]spark Yarn mode how to get applicationId from spark-submit

当我使用带有主纱线和部署模式群集的spark-submit提交spark作业时,它不打印/返回任何applicationId,并且一旦完成作业,我就必须手动检查MapReduce jobHistory或spark HistoryServer以获取作业详细信息。
我的集群被许多用户使用,并且需要很长时间才能在jobHistory / HistoryServer中发现我的工作。

有什么方法可以配置spark-submit返回applicationId?

注意:我发现了许多类似的问题,但是他们的解决方案使用sparkcontext.applicationId在驱动程序代码中检索applicationId,如果是master yarn and deploy-mode cluster sparkcontext.applicationIdmaster yarn and deploy-mode cluster则驱动程序也作为mapreduce作业的一部分运行,所有日志或sysout都打印到远程主机登录。

这是我用来实现此目的的方法:

  1. 将应用程序ID保存到HDFS文件。 (由@zhangtong建议在评论中)。
  2. 从驱动程序发送带有applictionId的电子邮件警报。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM