Spark Temptable與廣播

Question

我有一個需要專家建議的問題/意見。

我有一個名為config的表，其中包含一些配置信息，如表名所示。 在工作的生命周期中，我需要所有執行者都可以訪問此詳細信息。 因此，我的第一個選擇是在List [Case Class]中廣播它們。但是突然想到了使用registerTempTable()將配置設為Temptable並將其用於我的工作的想法。

可以使用此臨時表方法替代廣播變量（我在廣播方面有廣泛的實踐經驗）？

Answer 1

registerTempTable（）然后將其用於查找，在表/配置文件大小小於10MB的情況下，大多數情況下將僅在內部使用廣播連接。

Answer 2

registerTempTable只是為您提供了在數據幀上運行純SQL查詢的可能性，而沒有涉及性能/緩存/實現。

您應該進行廣播（我建議您使用Map作為配置參數）