在 Spark 中将 IP 地址设置为 spark.driver.host 而不是主机名？
[英]Setting an IP address as spark.driver.host instead of hostname in Spark?
问题描述
我在声明 spark.driver.host 设置时遇到问题。 假设我有一个带有 HOSTNAME 和绑定地址192.168.1.1的主机（它的 linux，windows 根本没有这个问题）。
如果我设置属性spark.driver.hostname = 192.168.1.1工作人员将响应 HOSTNAME，这真的很糟糕，因为他们没有使用此主机名的 DNS。
正如此故障排除页面所说：
如果 SPARK_LOCAL_IP 设置为 IP 地址，它将被解析为主机名。
这里有一个问题：如何不将此 IP 地址设置为主机名？
2 个解决方案
解决方案1
3 2020-10-30 08:56:46
你可以在你的spark环境中设置SPARK_LOCAL_HOSTNAME=ip地址来解决这个问题。
解决方案2
1 2015-04-08 13:31:45
主机名 -f 将您的 FQDN 添加到 /etc/hosts 文件中
[您的 IP 地址] [您的主机名] 在火花节点上
或将您的主机名添加到您的 spark 节点使用的 dns
Spark配置，SPARK_DRIVER_MEMORY，SPARK_EXECUTOR_MEMORY和SPARK_WORKER_MEMORY有什么区别？
[英]Spark configuration, what is the difference of SPARK_DRIVER_MEMORY, SPARK_EXECUTOR_MEMORY, and SPARK_WORKER_MEMORY?
如何使用powershell将IP地址解析为Linux的主机名
[英]How to use powershell to resolve IP address to hostname for Linux
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
从IP地址获取主机名
带有主机名的 URL 不起作用，但适用于 IP 地址
rsyslog 发送 IP 地址而不是主机名
Spark配置，SPARK_DRIVER_MEMORY，SPARK_EXECUTOR_MEMORY和SPARK_WORKER_MEMORY有什么区别？
如何使用powershell将IP地址解析为Linux的主机名
在Debian Linux上更改并同步主机名/ IP地址更改
在Linux / Bash / Perl中将主机名屏蔽为IP地址查找
Docker主机配置的IP地址错误
nslookup - 仅返回主机的 IP 地址
如何通过本地网络中的主机名查找IP地址？
相关标签