用于连接性能改进的 Spark-SQL 查询提示

Question

我最近被介绍给SparkSQL 。 我们使用Spark 2.4 。 我最近发现SparkSQL查询的 Join 策略支持以下提示：

• 广播提示
• 合并提示
• SHUFFLE_HASH 提示

不幸的是，我没有找到任何在线资料详细讨论这些提示及其应用场景。 我希望了解一些关于何时在查询 Join 中使用这些提示以提高查询性能的技巧。

任何人都可以用一些例子来解释。 任何帮助表示赞赏。 谢谢

Answer 1

1. 广播连接是一种非常高性能的连接，它将小表的数据发送给每个执行器以执行映射侧连接。 这里是配置：spark.sql.autoBroadcastJoinThreshold
2. 排序合并连接是 spark 2.3 之后的默认连接选择

有一些帖子，希望对你有所帮助： Spark SQL Joins Sort-Merge Join