[英]Spark Worker - Change web ui host in standalone mode
當我查看主節點的 web ui 時，它顯示了我當前連接到集群的所有工作人員。
https://spark.apache.org/docs/3.0.0-preview/web-ui.html
我遇到的問題是它用於 web ui 中的工作節點的 IP 地址不正確。 有沒有辦法更改在master的web ui中使用的worker的web ui主機/ip？
通讀文檔，似乎有“SPARK_WORKER_WEBUI_PORT”為工作人員設置端口，但似乎沒有“SPARK_WORKER_WEBUI_HOST”。
http://spark.apache.org/docs/latest/spark-standalone.html
為了提供更多上下文，我目前有一個以獨立模式部署的 spark 集群。 spark集群（主從）都在路由器（NAT）后面。 工作人員使用其內部 IP 地址綁定到主服務器。 我設置端口轉發以將外部流量路由到每個主機和從機。 問題是，由於我的工作人員使用其內部 IP 地址綁定到主節點，因此它使用主節點 web ui 中的內部 IP 地址。 這使得我的 NAT 之外的每個人都無法訪問工作節點的 web ui。 如果有辦法專門設置 IP 地址以用於我的每個工人的 web ui，那么這將解決這個問題。 謝謝！
經過更多研究，我確定我正在尋找的環境變量是： SPARK_PUBLIC_DNS
http://spark.apache.org/docs/latest/spark-standalone.html
這使我可以為我的工作人員設置不同的外部主機名。
Apache Spark：在 Spark Standalone 模式下禁用 Spark Web UI
[英]Apache Spark: Disable Spark Web UI in Spark Standalone mode
如何更改每個工作程序在Spark Standalone模式下使用的CPU數量？
[英]How to change the number of CPUs each worker uses in Spark Standalone mode?
Spark 2.0獨立模式動態資源分配工作者啟動錯誤
[英]Spark 2.0 Standalone mode Dynamic Resource Allocation Worker Launch Error
Spark 0.9.0：當作業失敗時，工作人員在獨立模式下繼續死亡
[英]Spark 0.9.0: worker keeps dying in standalone mode when job fails
Spark 獨立模式：有沒有辦法以編程方式從 Spark 的 localhost:8080 獲取每個工作人員的內核/內存信息
[英]Spark Standalone Mode: Is there a way to programmatically get cores/memory information for each worker from Spark's localhost:8080
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
