Spark局部變量廣播到執行器

Question

var countryMap = Map("Amy" -> "Canada", "Sam" -> "US", "Bob" -> "Canada")
val names = List("Amy", "Sam", "Eric")
sc.parallelize(names).flatMap(broadcastMap.value.get).collect.foreach(println)

//output
Canada
US

我在 YARN 模式下運行這個 spark 作業，我確信驅動程序和執行程序不在同一個節點/JVM 中（參見附圖）。 由於 countryMap 不是廣播變量，所以執行程序不應該看到它，並且這段代碼不應該打印任何東西。 但是，它打印了Canada和US 。

我的問題是，如果局部變量是可序列化的，Spark 是否會自動將局部變量填充到執行程序？ 如果沒有，執行器如何查看驅動程序的局部變量？

Answer 1

海伊愛德華茲，

當您調用將結果集帶回驅動程序的collect時，請嘗試執行映射。 你可以找到映射的原因是生成的。

干杯，

Answer 2

局部變量：驅動程序和每個執行程序，無需序列化，在執行器/驅動程序內共享。 主要變量：驅動程序和任務的每個副本（絕緣），需要序列化

Answer 3

Spark 動作通過一組階段執行，由分布式“shuffle”操作分隔。 Spark 自動廣播每個階段內任務所需的公共數據。 以這種方式廣播的數據以序列化形式緩存，並在運行每個任務之前進行反序列化。 這意味着顯式創建廣播變量僅在跨多個階段的任務需要相同數據或以反序列化形式緩存數據很重要時才有用。

參考https://spark.apache.org/docs/2.3.0/rdd-programming-guide.html#broadcast-variables

基本上，驅動程序中的局部變量會自動廣播給執行程序。 但是，當您需要跨不同階段的廣播變量時，您需要創建它們。

Answer 4

要讓broadcastMap.value.get function 在集群上運行，Spark 需要序列化broadcastMap並發送到每個執行程序，所以你有一個 function 數據已經以 ZA8CFDE63311BD59EB266ZC96B 實例的形式附加到它上面。 如果您使broadcastMap class 不可序列化 - 您將無法運行此代碼。

因此，Spark 不會將局部變量填充到執行程序，而是您明確告訴它序列化 object broadcastMap映射並分布式運行該 object 的方法。