如何在Spark Shell中启用或获取跟踪URL？

Question

当我提供spark-shell或Spark-shell --master纱线时，在控制台上找不到跟踪Url。

假设我已更改了执行程序的编号和执行程序的内存，我想使用跟踪URL验证这些更改。

如果我了解如何获取此跟踪网址，将对您有所帮助

Answer 1

您可以通过编程方式获取SparkUI URL：

val url = spark.sparkContext.uiWebUrl

Answer 2

如果您使用的是纱线

1. 转到CM中的纱线应用。
2. 您会找到列出的Spark Shell。 点击您的应用
3. 您将找到一个跟踪URL ：ApplicationMaster这是您正在寻找的URL。 让我知道这是否回答了您的查询。