[英]Spark Worker - Change web ui host in standalone mode
当我查看主节点的 web ui 时，它显示了我当前连接到集群的所有工作人员。
https://spark.apache.org/docs/3.0.0-preview/web-ui.html
我遇到的问题是它用于 web ui 中的工作节点的 IP 地址不正确。 有没有办法更改在master的web ui中使用的worker的web ui主机/ip？
通读文档，似乎有“SPARK_WORKER_WEBUI_PORT”为工作人员设置端口，但似乎没有“SPARK_WORKER_WEBUI_HOST”。
http://spark.apache.org/docs/latest/spark-standalone.html
为了提供更多上下文，我目前有一个以独立模式部署的 spark 集群。 spark集群（主从）都在路由器（NAT）后面。 工作人员使用其内部 IP 地址绑定到主服务器。 我设置端口转发以将外部流量路由到每个主机和从机。 问题是，由于我的工作人员使用其内部 IP 地址绑定到主节点，因此它使用主节点 web ui 中的内部 IP 地址。 这使得我的 NAT 之外的每个人都无法访问工作节点的 web ui。 如果有办法专门设置 IP 地址以用于我的每个工人的 web ui，那么这将解决这个问题。 谢谢！
经过更多研究，我确定我正在寻找的环境变量是： SPARK_PUBLIC_DNS
http://spark.apache.org/docs/latest/spark-standalone.html
这使我可以为我的工作人员设置不同的外部主机名。
Apache Spark：在 Spark Standalone 模式下禁用 Spark Web UI
[英]Apache Spark: Disable Spark Web UI in Spark Standalone mode
如何更改每个工作程序在Spark Standalone模式下使用的CPU数量？
[英]How to change the number of CPUs each worker uses in Spark Standalone mode?
Spark 2.0独立模式动态资源分配工作者启动错误
[英]Spark 2.0 Standalone mode Dynamic Resource Allocation Worker Launch Error
Spark 0.9.0：当作业失败时，工作人员在独立模式下继续死亡
[英]Spark 0.9.0: worker keeps dying in standalone mode when job fails
Spark 独立模式：有没有办法以编程方式从 Spark 的 localhost:8080 获取每个工作人员的内核/内存信息
[英]Spark Standalone Mode: Is there a way to programmatically get cores/memory information for each worker from Spark's localhost:8080
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
