带有 IN 的 postgres 查询非常慢

Question

我有一个表，它有一个索引（A 列，B 列）。 我正在运行一个如下所示的查询：

SELECT * FROM table WHERE (A, B) IN ((a_1, b_1), (a_2, b_2), ..., (a_5000, b_5000))

这个查询很慢！ 该计划如下所示：

Bitmap Heap Scan on table
  Recheck Cond: (((A = a_1) AND (B = b_1)) OR ((A = a_2) AND (B = b_2)) OR ...
  ->  BitmapOr
        ->  Bitmap Index Scan on idx
              Index Cond: ((A = a_1) AND (B = b_1))
        ->  Bitmap Index Scan on idx
              Index Cond: ((A = a_2) AND (B = b_2))
        ...(5000 other Bitmax Index Scan)

与使用 5000 个值进行一次索引扫描不同，postgres 似乎一次使用一个值进行 5000 次索引扫描，这解释了为什么查询如此缓慢。

实际上，执行以下操作会更快：

SELECT * FROM table WHERE A IN (a_1, ..., a_5000)

获取结果，然后在应用程序 (python) 内的 B 列上进行过滤。

我真的希望结果已经被 postgres 过滤并具有合理的运行时间。 有解决方法吗？

Answer 1

尝试加入CTE：

with value_list (a,b) as (
  values 
      (a_1, b_1), 
      (a_2, b_2), ..., 
      (a_5000, b_5000) 
)
select *
from table t
  join value_list v on (t.a, t.b) = (v.a, v.b);

（这假定您在值列表中没有重复项）

Answer 2

我不小心把一个 where 条件重复放在查询的末尾，我花了将近一分钟的查询现在在 1 秒内出现。 我不知道其背后的原因。 但它现在更快。