Spark局部变量广播到执行器

Question

var countryMap = Map("Amy" -> "Canada", "Sam" -> "US", "Bob" -> "Canada")
val names = List("Amy", "Sam", "Eric")
sc.parallelize(names).flatMap(broadcastMap.value.get).collect.foreach(println)

//output
Canada
US

我在 YARN 模式下运行这个 spark 作业，我确信驱动程序和执行程序不在同一个节点/JVM 中（参见附图）。 由于 countryMap 不是广播变量，所以执行程序不应该看到它，并且这段代码不应该打印任何东西。 但是，它打印了Canada和US 。

我的问题是，如果局部变量是可序列化的，Spark 是否会自动将局部变量填充到执行程序？ 如果没有，执行器如何查看驱动程序的局部变量？

Answer 1

海伊爱德华兹，

当您调用将结果集带回驱动程序的collect时，请尝试执行映射。 你可以找到映射的原因是生成的。

干杯，

Answer 2

局部变量：驱动程序和每个执行程序，无需序列化，在执行器/驱动程序内共享。 主要变量：驱动程序和任务的每个副本（绝缘），需要序列化

Answer 3

Spark 动作通过一组阶段执行，由分布式“shuffle”操作分隔。 Spark 自动广播每个阶段内任务所需的公共数据。 以这种方式广播的数据以序列化形式缓存，并在运行每个任务之前进行反序列化。 这意味着显式创建广播变量仅在跨多个阶段的任务需要相同数据或以反序列化形式缓存数据很重要时才有用。

参考https://spark.apache.org/docs/2.3.0/rdd-programming-guide.html#broadcast-variables

基本上，驱动程序中的局部变量会自动广播给执行程序。 但是，当您需要跨不同阶段的广播变量时，您需要创建它们。

Answer 4

要让broadcastMap.value.get function 在集群上运行，Spark 需要序列化broadcastMap并发送到每个执行程序，所以你有一个 function 数据已经以 ZA8CFDE63311BD59EB266ZC96B 实例的形式附加到它上面。 如果您使broadcastMap class 不可序列化 - 您将无法运行此代码。

因此，Spark 不会将局部变量填充到执行程序，而是您明确告诉它序列化 object broadcastMap映射并分布式运行该 object 的方法。