跨多个表优化INNER JOIN

Question

我已经对该站点上的许多类似响应进行了拖曳，并在此过程中的多个阶段改进了我的代码。 不幸的是，此3行查询仍然无法运行。

我有一个具有100k +行和大约30列的表，我可以将其过滤为3行（在本示例中），然后在21个小的查找表中执行INNER JOIN 。

在我的第一次尝试中，我很懒并且使用隐式联接。

SELECT `master_table`.*, `lookup_table`.`data_point` x 21
FROM `lookup_table` x 21
WHERE `master_table`.`indexed_col` = "value"
AND `lookup_table`.`id` = `lookup_col` x 21

该查询似乎超时了：

#2013 - Lost connection to MySQL server during query

在此之后，我试图明确地说明联接。

SELECT `master_table`.*, `lookup_table`.`data_point` x 21
FROM `master_table`
INNER JOIN `lookup_table` ON `lookup_table`.`id` = `master_table`.`lookup_col` x 21
WHERE `master_table`.`indexed_col` = "value"

仍然得到相同的结果。 然后，我意识到查询可能首先尝试执行连接，然后通过WHERE子句进行筛选。 因此，在进行了更多研究之后，我学习了如何应用子查询来首先执行过滤器，然后对新创建的表执行联接。 这是我到达的地方，它仍然返回相同的错误。 有什么办法可以进一步改善此查询？

SELECT `temp_table`.*, `lookup_table`.`data_point` x 21
FROM (SELECT * FROM `master_table` WHERE `indexed_col` = "value") as `temp_table`
INNER JOIN `lookup_table` ON `lookup_table`.`id` = `temp_table`.`lookup_col` x 21

这是编写此类查询的最佳方法吗？ 我测试了子查询，以确保它只返回一个小表，并可以确认它仅返回三行。

Answer 1

首先，您正在寻找最简单的方面

select
      mt.*
   from
      Master_Table mt
   where
      mt.indexed_col = 'value'

如果您在主表上第一个位置的给定indexed_col上有一个索引（如果您有许多字段的复合索引），那可能是瞬时的。

现在，如果我在不同的查找列（总共21个）上正确地理解了您的情况，那么在本文中您只是为了简化而将它们简化了，但是实际上在

select
      mt.*,
      lt1.lookupDescription1,
      lt2.lookupDescription2,
      ...
      lt21.lookupDescription21
   from
      Master_Table mt
         JOIN Lookup_Table1 lt1
            on mt.lookup_col1 = lt1.pk_col1
         JOIN Lookup_Table2 lt2
            on mt.lookup_col2 = lt2.pk_col2
         ...
         JOIN Lookup_Table21 lt21
            on mt.lookup_col21 = lt21.pk_col21
   where
      mt.indexed_col = 'value'

十多年前，我有一个项目来处理类似的情况……主表拥有约21+百万条记录，并且必须加入约30+的查找表。 在运行查询超过24小时后，系统爬网并查询死亡。

这也是在MySQL服务器上，而修复程序只是一个MySQL关键字...

Select STRAIGHT_JOIN mt.*, ...

通过将主表置于主要位置，where子句及其条件直接位于主表上，您就很好了。 您知道表的关系。 按照我向您提供的确切顺序进行查询。 不要试图为此思考，而是尝试基于可能具有较少记录数的子表进行优化，并以某种方式认为这将有助于更快地进行查询……不会。

尝试使用STRAIGHT_JOIN关键字。 它接受了我正在处理的查询，并在大约1.5个小时内完成了该查询……它返回了2100万行，并带有所有对应的查找关键字描述以进行最终输出，因此仍然需要比3条记录更长的持续时间。

Answer 2

首先，不要使用子查询。 将查询写为：

SELECT mt.*, lt.`data_point`
FROM `master_table` mt INNER JOIN
     `lookup_table` l
     ON l.`id` = mt.`lookup_col`
WHERE mt.`indexed_col` = value;

所需的索引是master_table(value, lookup_col)和lookup_table(id, data_point) 。

如果仍然存在性能问题，则有多种可能性。 其中最重要的一点是结果集太大而无法在合理的时间内返回。 要查看是否是这种情况，可以使用select count(*)来计算返回的行数。