SQL：如何加快此查询

Question

这是情况。 我有一个表，其中包含基于许多不同表（以下t1）中的记录的记录。 t2是其中的信息已从表中拉入t1的表之一。

t1
  table_oid --which table id is a FK to
  id        --fk to other table
  store_num --field

t2
  t2_id

这是我需要找到的：我需要最大的t2_id，其中在t1的对应记录中store_num不为null。 这是我写的查询：

select max(id) from t1
join t2 on t2.t2_id = t1.id
where store_num is not null
and table_oid = 1234;

但是，这需要相当长的时间。 我认为这应该是一个快速的查询。 所有_id都有索引。 （t1.id/t1.table_oid、t2.t2_id）。 t1中的绝大多数条目都有一个store_num。

精神上，我将按desc的顺序获得t2_id，而不是一个接一个地对t1进行尝试，直到找到第一个具有store_num的t2_id。

select t2_id from t2 order by t2_id desc;

的解释成本为25612

select t1.* from t1 where table_oid = 1234
and id in (select max(t2_id) from t2);

解释成本为8。

那么，为什么上述查询最多不花费25612 * 8 = 204896？ 当我解释时，它的返回值是该值的3倍以上。

确实，我的问题是如何重新编写查询以使其运行更快。

注意：我正在使用Oracle。

编辑：

t2有11,895,731行
t1有473,235,192行

编辑2：

由于我尝试了不同的操作，查询中花费时间最长的部分是在t1上进行完整扫描以查找store_num。 因为我只需要最大的条目，有没有办法阻止它进行全面扫描？

Answer 1

不知道这些是否适用于Oracle。 您在联接的fk id列上有索引吗？ 另外，如果可以避免，“ NOT IN”在SQL中不是不可持久的类型，这会减慢查询速度。

另一个可能较慢的选择是进行外部联接，然后检查该列是否为null。 （不确定是否也仅适用于sql）

select max(id) from t1
left outer join t2 on t2.t2_id = t1.id
where t1... IS NULL
and table_oid = 1234;

Answer 2

你说：

所有_id都有索引

但是您的查询是：

...
where store_num is not null
and table_oid = 1234;

除非store_num和table_oid也已建立索引，并且它们是该索引的第一列，否则所有_id索引都对该查询无用。

因此，当然必须进行全面扫描。 它可以立即返回max(id)而无需任何过滤条件，但是一旦放入过滤器，它就不能再使用id索引，因为它不知道索引的哪一部分与那些store_num is not null匹配store_num is not null条目-并非没有扫描。

为了加快查询速度，您需要在(store_num, table_oid, id)上创建索引。 有关为单个即席查询创建索引的标准免责声明适用； 索引过多会损害插入/更新性能。

您实际上如何“重写”查询并不重要-这与应用程序代码不同，优化器无论如何都会重新排列查询的所有部分。 除非在搜索列上具有足够选择的索引，否则整个查询将被单个索引完全覆盖，否则它将很慢。

Answer 3

我能想到的最好的方法是：

1. 按此顺序在（TABLE_OID，ID DESC，COVERED_ENTITY_ID）上创建索引。 为什么？

table_oid-这是您的主要访问条件ID-因此您不必访问数据块即可读取它-您首先会获得更高的ID值Covered_entity_id-您正在基于此过滤数据，为null vs不为空

那应该完全不需要访问T1中的473m行。

2. 确保T2_ID上有一个索引。

如果一切就绪，则查询如下：

select max(id) 
  from t1     
       inner join t2 
          on t2.t2_id = t1.id     
 where covered_entity_id is not null     
   and table_oid = 1234;   

（优化程序是一个野兽）应该能够对T1上的索引进行快速的全扫描，从而进行半联接，而永不扫描数据块。 还可以考虑手动将其编写为：

select max(id) 
  from t1     
 where covered_entity_id is not null     
   and table_oid = 1234
   and exists (select null 
                 from t2
                where t1.id = t2.t2_id);   

select max(id)
  from t1
 where covered_entity_id is not null
   and table_oid = 1234
   and id in (select t2_id from t2);

由于优化程序可能会稍微不同地编写这些计划。

Answer 4

在下面的内容中，我假设covered_entity_id与store_num相同-如果您的命名保持一致，这对于我们来说真的很容易。

t1中的绝大多数条目都有一个store_num。

在这种情况下，以下子句不应对查询的性能产生任何影响...

where covered_entity_id is not null

但是，你继续说

查询中花费时间最长的部分是在t1上的完整扫描，以查找store_num

这表明查询首先要查找的是covered_entity_id is not null而不是选择性table_oid = 1234 。 解决方案可能像这样重写查询一样简单...

where table_oid = 1234 
and  covered_entity_id is not null;

...尽管我怀疑不是。 您可以尝试提示让查询使用table_oid上的索引。

另一件事是，统计数据的最新程度如何？ 当优化器选择一个根本上糟糕的执行计划时，通常是因为统计信息已过时。

顺便说一句，您为什么要加入T2？ 通过从T1中选择max(id)可以满足您的要求（除非您没有强制T1.ID引用T2.T2_ID的外键，因此需要确定）。

编辑

要检查您的统计信息，请运行以下查询：

select table_name
       , num_rows
       , last_analyzed
from user_tables
where table_name in ('T1', 'T2')
/

如果结果显示num_rows与您在第一次编辑中给出的值num_rows很大，则应重新收集统计信息。 如果last_anlayzed就像您上线的那一天一样，那么您绝对应该重新聚会。 您可能需要先导出统计信息； 刷新统计信息通常会影响执行计划（这是练习的目标），但有时情况会变得更糟。 了解更多 。