Apache Spark：在 Spark Standalone 模式下禁用 Spark Web UI

Question

我正在使用客户端部署模式在独立模式下运行 Apache Spark 2.1.1。 我想为 master 和 all workers 禁用 Spark Web UI 。

参考： https ://spark.apache.org/docs/latest/configuration.html#spark-ui 并在 $SPARK_HOME/conf/spark-defaults.conf 中使用以下 conf：

spark.ui.showConsoleProgress=false
spark.ui.enabled=false
spark.ui.killEnabled=false

然而，我仍然可以在默认端口 8080 上看到 Web UI（Spark Master 和 Spark Worker 的 8081）。 我在所有工作节点中都有相同的配置。

Answer 1

似乎他们没有办法禁用 Spark Master UI。

但是，您可以使用 /spark-master.sh -p PORT 更改它正在运行的端口，如下所述： https ://spark.apache.org/docs/latest/spark-standalone.html#cluster-launch-scripts

最后，您可以构建一个脚本，在 spark-master.sh 运行后使用特定端口终止进程。

希望它有点帮助。