简体繁体 English

Spark Master vs Yarn 资源管理器

[英]Spark Master vs Yarn Resource manager

原文 2022-04-04 09:47:21 8 1 apache-spark/ hadoop-yarn

How does yarn allocate resources for spark applications and how it is done when spark runs in standalone mode? yarn如何为spark应用分配资源，spark单机运行时如何分配？

1 个解决方案

You define the driver memory size, deployment mode, number of executors and their memory sizes when you run spark-submit .您在运行spark-submit时定义驱动程序 memory 大小、部署模式、执行程序数量及其 memory 大小。 If no options are provided, the defaults from spark-env and/or yarn-site.xml are used.如果未提供任何选项，则使用spark-env和/或yarn-site.xml的默认值。 Then that amount of resources will be scheduled.然后将安排该数量的资源。

If dynamic executor execution is enabled, and you're reading data from HDFS, for example, then more or less executors may start, depending on how many file blocks the data contains例如，如果启用了动态执行程序执行，并且您正在从 HDFS 读取数据，则可能会启动或多或少的执行程序，具体取决于数据包含的文件块数量

YARN资源管理器上的Spark：YARN容器和Spark执行器之间的关系 - Spark on YARN resource manager: Relation between YARN Containers and Spark Executors

纱线资源管理器中未显示 Spark 执行器核心 - Spark executor cores not shown in yarn resource manager

纱线作为 linux 集群的 SPARK 中的资源管理器 - 在 Kubernetes 内部和 Kubernetes 外部 - Yarn as resource manager in SPARK for linux cluster - inside Kubernetes and outside Kubernetes

Spark 和 Yarn 的资源分配 - Resource Allocation with Spark and Yarn

不使用spark-submit.sh时，Spark如何知道纱线资源管理器在哪里运行？ - How does Spark know where the Yarn Resource Manager is running when not using spark-submit.sh?

师父必须从纱线，火花开始 - Master must start with yarn,spark

资源管理器与无资源管理器 - Resource manager vs No Resource manager

使用 Spark 与 HDFS 作为文件存储系统和 YARN 作为资源管理器有什么好处？ - What is the advantage of using spark with HDFS as file storage system and YARN as resource manager?

即使Spark应用程序成功执行，Yarn资源管理器也会使应用程序失败 - Yarn resource manager fails the application even though Spark application executes successfully

在纱线上启动Spark时，在资源管理器上抛出“java.io.IOException：Connection reset by peer” - “java.io.IOException: Connection reset by peer” thrown on the resource manager when launching Spark on Yarn

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 YARN资源管理器上的Spark：YARN容器和Spark执行器之间的关系 - Spark on YARN resource manager: Relation between YARN Containers and Spark Executors 纱线资源管理器中未显示 Spark 执行器核心 - Spark executor cores not shown in yarn resource manager 纱线作为 linux 集群的 SPARK 中的资源管理器 - 在 Kubernetes 内部和 Kubernetes 外部 - Yarn as resource manager in SPARK for linux cluster - inside Kubernetes and outside Kubernetes Spark 和 Yarn 的资源分配 - Resource Allocation with Spark and Yarn 不使用spark-submit.sh时，Spark如何知道纱线资源管理器在哪里运行？ - How does Spark know where the Yarn Resource Manager is running when not using spark-submit.sh? 师父必须从纱线，火花开始 - Master must start with yarn,spark 资源管理器与无资源管理器 - Resource manager vs No Resource manager 使用 Spark 与 HDFS 作为文件存储系统和 YARN 作为资源管理器有什么好处？ - What is the advantage of using spark with HDFS as file storage system and YARN as resource manager? 即使Spark应用程序成功执行，Yarn资源管理器也会使应用程序失败 - Yarn resource manager fails the application even though Spark application executes successfully 在纱线上启动Spark时，在资源管理器上抛出“java.io.IOException：Connection reset by peer” - “java.io.IOException: Connection reset by peer” thrown on the resource manager when launching Spark on Yarn

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM