启用 SSL 后，Spark UI 不使用 HTTPS，而是通过 HTTP 转发到端口 0

Question

我们正在使用 Spark 2.0.2 和 Hadoop 3.2.1。 我已经毫无问题地在 Hadoop 上配置了 SSL。 但 Spark 遇到了一些麻烦。

如果没有 SSL，我可以启动作业并查看通过 Yarn 代理的 Spark UI。

当我启用 SSL 时，我仍然可以启动作业并运行完成，但我无法访问 Spark Web UI。 纱线链接到 ApplicationMaster 代理，该代理因java.net.ConnectException: Connection refused (Connection refused)

深入研究工作的标准输出，我看到这样的行：

2020-04-14 16:21:57,258 INFO server.ServerConnector: Started ServerConnector@1484944f{HTTP/1.1}{0.0.0.0:40809}
2020-04-14 16:21:57,303 INFO server.ServerConnector: Started ServerConnector@799e8b3a{SSL-HTTP/1.1}{0.0.0.0:36015}
2020-04-14 16:21:57,303 INFO server.Server: Started @5614ms
2020-04-14 16:21:57,304 INFO util.Utils: Successfully started service 'SparkUI' on port 40809.
2020-04-14 16:21:57,309 INFO ui.SparkUI: Bound SparkUI to 0.0.0.0, and started at https://10.10.75.40:40809

如果我调用https://10.10.75.40:40809 ，我会收到一个错误，即它不是 SSL。

如果我调用http://10.10.75.40:40809 ，我会收到一个虚假重定向到端口 10.10.75.40:0。

如果我调用https://10.10.75.40:36015并忽略证书错误，或者如果我通过正确的主机名调用，我会被重定向到 RM 的:8090/proxy/redirect ，这会再次引发 500 错误。

我的配置包括：

spark.ssl.enabled                 true
spark.ssl.keyStore                /etc/sslmate/STAR.mtv.qxxxxxxxxd.com.jks
spark.ssl.keyStorePassword        _the password_
spark.ssl.trustStore              /etc/sslmate/STAR.mtv.qxxxxxxxxd.com.jks
spark.ssl.trustStorePassword      _the password_
spark.ssl.protocol                TLSv1.2

我还尝试过尝试显式设置端口，但无济于事：

spark.ssl.ui.port                 4440
spark.ssl.history.port            18480
spark.ui.driver.port              2020
spark.ssl.ui.driver.port          2420

Answer 1

我无法通过 Apache 找到此文档，但我发现MapR 的一条注释让我开始工作：

在 YARN 上运行 Spark 时不需要 Spark UI SSL，因为 YARN 协议提供了加密。 要禁用 Spark SSL，请将spark.ssl.ui.enabled false添加到每个 spark 节点上的spark-defaults.conf文件中。

以这种方式配置时，ResourceManager 通过:8090/proxy/redirect类型 URL 正确提供 Spark UI。 在stderr中，我看到 output 沿着这些线：

2020-04-14 17:36:38,098 INFO server.ServerConnector: Started ServerConnector@7ef020c8{HTTP/1.1}{0.0.0.0:45951}
2020-04-14 17:36:38,098 INFO server.Server: Started @7871ms
2020-04-14 17:36:38,107 INFO util.Utils: Successfully started service 'SparkUI' on port 45951.
2020-04-14 17:36:38,113 INFO ui.SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.10.31.230:45951