spark中的广播变量是否移动到YARN中的每个执行程序或每个节点管理器？

Question

在 YARN 中，广播变量如何跨节点分布。 如果它转到 Nodemanager 中的每个执行程序或仅复制到集群中的每个节点管理器上，我会感到困惑。

请让我知道。 提前致谢。

Answer 1

Apache 中的广播变量 Spark 是一种用于在只读的执行器之间共享变量的机制。

为了理解广播变量的行为，请理解 Spark 生命周期是如何工作的

1. Spark驱动由YARN启动
2. 它为作业创建 DAG
3. 作业包含映射一个减少任务
4. 这些映射和归约任务在一个 Executor 中运行（即一个单独的 JVM 进程，具有自己的线程池）
5. 此执行程序在初始化时获取自己的广播变量副本。 广播变量由 Spark 分发，而不是 Yarn。

第 3 步将根据数据量重复任务，或者如果它是 Spark 流式作业，但总会有一个广播变量的副本，并与执行程序保持一致，直到它停止运行。

如果节点管理器指的是 Spark Worker 节点，那么我认为 Spark Worker 节点不需要广播变量，因此它们可能不会保留任何副本。

节点管理器（即 Spark worker）负责， - 分配所需资源 - 向驱动程序注册执行器 - 维护驱动器 - 执行器通信