如何找出在纱簇模式下以spark模式运行的任务的驱动程序进程节点

Question

我的火花以纱线群集模式运行。提交作业时，我想找出驱动程序程序位于群集中的哪台机器上。 看来我只能从yarn web ui获取容器位置：

我能做什么？

Answer 1

Spark Web UI在驱动程序节点的端口4040上启动，因此查找驱动程序ip的一种方法是单击日志链接并搜索4040

一个示例日志行将是SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.100.0.117:4040将SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.100.0.117:4040其中10.100.0.117是驱动程序节点的ip地址。