使用 Scala 在 Spark 中使用廣播變量的正確語法是什么？

Question

我想在 Spark 和 Scala 中使用廣播變量。 但是我找不到足夠的關於如何使用它們的幫助。 說，我有一個 A 類的對象，我通常會在 Scala 中聲明如下。

val a = new A()

將其聲明為廣播變量的語法是什么。 我將如何調用它的方法？

Answer 1

如果sc是SparkContext ，則val broadcasted = sc.broadcast(a)將廣播a 。
然后您可以使用broadcasted.value訪問它。

Answer 2

馬斯是對的。 您還需要使用 sc.destroy(blocking) 銷毀廣播變量，其中阻塞是一個標志。 我想強調的是，建議避免廣播小變量。