以独立模式在异构集群上运行 Spark
[英]Running Spark on heterogeneous cluster in standalone mode
问题描述
我有一个由 3 个节点组成的集群，每个节点有 12 个内核，分别有 30G、20G 和 10G 的 RAM。 当我运行我的应用程序时，我将执行器内存设置为 20G，这阻止了执行器在 10G 机器上启动，因为它超过了从内存阈值，它也没有充分利用 30G 机器上的资源。 我搜索了但没有找到任何根据节点容量动态设置执行器内存的方法，那么我如何配置集群或我的Spark作业以充分利用集群的资源？
1 个解决方案
解决方案1
1 2016-07-08 19:05:40
解决方案是让更多的执行程序使用更少的内存。 您可以通过拥有 6-10G 执行器（10G 节点上的 1 个，20G 节点上的 2 个，30G 节点上的 3 个）来使用所有内存。 或者通过拥有 12- 5G 执行器。 等
强制驱动程序在使用“--deploy-mode cluster”运行的spark独立集群中的特定从站上运行
[英]Forcing driver to run on specific slave in spark standalone cluster running with “--deploy-mode cluster”
在 Spark 独立和 YARN 客户端部署模式下运行时，cythonize 代码如何工作，而不是在 YARN 集群部署上？
[英]How come cythonize code works when running on Spark standalone and YARN client deployment mode, but not on YARN cluster deployment?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
在独立模式和Yarn / Mesos上运行spark群集
Spark独立模式在集群中不起作用
强制驱动程序在使用“--deploy-mode cluster”运行的spark独立集群中的特定从站上运行
SPARK独立集群模式下的工作者数
Spark群集：无HDFS的独立模式
Apache Spark：以独立集群模式读取文件
具有Apache Spark的Docker容器处于独立群集模式
在 Spark 独立和 YARN 客户端部署模式下运行时，cythonize 代码如何工作，而不是在 YARN 集群部署上？
Spark独立集群，作业在一个执行程序上运行
Spark 在本地机器而不是独立集群中运行
相关标签