用於連接性能改進的 Spark-SQL 查詢提示

Question

我最近被介紹給SparkSQL 。 我們使用Spark 2.4 。 我最近發現SparkSQL查詢的 Join 策略支持以下提示：

• 廣播提示
• 合並提示
• SHUFFLE_HASH 提示

不幸的是，我沒有找到任何在線資料詳細討論這些提示及其應用場景。 我希望了解一些關於何時在查詢 Join 中使用這些提示以提高查詢性能的技巧。

任何人都可以用一些例子來解釋。 任何幫助表示贊賞。 謝謝

Answer 1

1. 廣播連接是一種非常高性能的連接，它將小表的數據發送給每個執行器以執行映射側連接。 這里是配置：spark.sql.autoBroadcastJoinThreshold
2. 排序合並連接是 spark 2.3 之后的默認連接選擇

有一些帖子，希望對你有所幫助： Spark SQL Joins Sort-Merge Join