如何找出在紗簇模式下以spark模式運行的任務的驅動程序進程節點

Question

我的火花以紗線群集模式運行。提交作業時，我想找出驅動程序程序位於群集中的哪台機器上。 看來我只能從yarn web ui獲取容器位置：

我能做什么？

Answer 1

Spark Web UI在驅動程序節點的端口4040上啟動，因此查找驅動程序ip的一種方法是單擊日志鏈接並搜索4040

一個示例日志行將是SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.100.0.117:4040將SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.100.0.117:4040其中10.100.0.117是驅動程序節點的ip地址。