Spark：将广播变量传递给执行者

Question

我正在使用以下代码将广播变量传递给我的所有执行者。 该代码似乎有效，但我不知道我的方法是否足够好。 只想看看是否有人有更好的建议。 非常感谢你！

val myRddMap = sc.textFile("input.txt").map(t => myParser.parse(t))
val myHashMapBroadcastVar = sparkContext.broadcast(myRddMap.collect().toMap)

其中myRddMap的类型为org.apache.spark.rdd.RDD[(String, (String, String))]

然后，我有一个实用程序函数，可以将RDD和类似的变量传递给它：

val myOutput = myUtiltityFunction.process(myRDD1, myHashMapBroadcastVar)

---

那么上面的代码是处理广播变量的好方法吗？ 还是有更好的方法？ 谢谢！

Answer 1

广播变量使程序员可以在每台计算机上保留一个只读变量，而不用随任务一起发送它的副本。

广播变量实际上已发送到所有节点。 因此，在实用程序函数中或任何地方使用它们都没关系。 至于我认为您做对的事情，似乎没有什么错导致了性能下降。