[英]DSE spark cluster on AWS worker and Executor ports
我正在尝试在AWS EC2计算机上设置6节点DSE 5.1 Spark集群。 我只是从DSE文档开始的，我打开了all TCP端口，当我检查日志时，我发现工作进程，执行程序进程和驱动程序进程正在使用以下端口
33xxx
33xxx
33xxx
34xxx
34xxx
34xxx
35xxx
35xxx
35xxx
36xxx
37xxx
37xxx
39xxx
40xxx
40xxx
41xxx
41xxx
43xxx
43xxx
43xxx
43xxx
45xxx
46xxx
这里的范围是从33xxx到46xxx，建议打开端口的范围是多少？或者有什么方法可以绑定worker和executor端口？
默认情况下，端口选择是随机的
查看Spark文档
特别
spark.blockManager.port
spark.driver.port
您可以通过在SparkConf或通过Spark Submit在CLI SparkConf它们设置为特定值来锁定它们，但您需要确保每个应用程序都具有唯一值，以免它们冲突。
在大多数情况下，将驱动程序与群集保留在同一VPN中是有意义的。
如何让自定义 log4j.properties 对 AWS EMR 集群上的 Spark 驱动程序和执行程序生效？
[英]How to get custom log4j.properties to take effect for Spark driver and executor on AWS EMR cluster?
在Apache Spark中。 如何设置worker / executor的环境变量？
[英]In Apache Spark. How to set worker/executor's environment variables?
DSE Spark独立群集启动应用程序'远程Akka客户端解除关联'错误
[英]DSE Spark stand alone cluster on launching application 'remote Akka client disassociated' error
哪个Snitch用于AWS上的多az，多区域dse集群？
[英]Which Snitch to use for a multi-az, multi-region dse cluster on AWS?
将 AWS Redshift 上的 Azure Databricks Spark 集群列入白名单
[英]Whitelisting Azure Databricks Spark Cluster on AWS Redshift
如何将Spark EMR集群与AWS Elasticsearch集群连接
[英]How to connect Spark EMR cluster with AWS elasticsearch cluster
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.