使用 Scala 在 Spark 中使用广播变量的正确语法是什么？

Question

我想在 Spark 和 Scala 中使用广播变量。 但是我找不到足够的关于如何使用它们的帮助。 说，我有一个 A 类的对象，我通常会在 Scala 中声明如下。

val a = new A()

将其声明为广播变量的语法是什么。 我将如何调用它的方法？

Answer 1

如果sc是SparkContext ，则val broadcasted = sc.broadcast(a)将广播a 。
然后您可以使用broadcasted.value访问它。

Answer 2

马斯是对的。 您还需要使用 sc.destroy(blocking) 销毁广播变量，其中阻塞是一个标志。 我想强调的是，建议避免广播小变量。