查找两个表之间的重复项

Question

我有两个SQL2008表，一个是包含新数据的“导入”表，另一个是包含实时数据的“目标”表。 这两个表相似但不相同（“目标”表中有更多列由CRM系统更新），但两个表都有三个“电话号码”字段-Tel1，Tel2和Tel3。 我需要从“导入”表中删除所有记录，其中目标表中已经存在任何电话号码。

我试过将一个简单的查询组合在一起（只是一个SELECT来进行测试）：

select t2.account_id
from ImportData t2,  Destination t1 
where 
(t2.Tel1!='' AND (t2.Tel1 IN (t1.Tel1,t1.Tel2,t1.Tel3)))
or
(t2.Tel2!='' AND (t2.Tel2 IN (t1.Tel1,t1.Tel2,t1.Tel3)))
or
(t2.Tel3!='' AND (t2.Tel3 IN (t1.Tel1,t1.Tel2,t1.Tel3)))

...但是我知道这几乎可以肯定不是“做事的方式”，特别是因为它非常慢。 谁能指出我正确的方向？

Answer 1

此查询需要更多的信息。 如果您想以有效的方式编写它，我们需要知道每次加载是否有更多重复项或更多新记录。 我假设account_id是主键，并且具有聚集索引。

我将使用临时表方法，该方法将创建规范化表#r，其中在phone_no和account_id上具有索引，例如

SELECT Phone, Account into #tmp
FROM 
   (SELECT account_id, tel1, tel2, tel3
   FROM destination) p
UNPIVOT
   (Phone FOR Account IN 
      (Tel1, tel2, tel3)
)AS unpvt;

在此表上创建未聚簇的索引，其中电话号码的第一列和帐号的第二部分。 您无法逃避一次全表扫描，因此我假设您可以扫描导入（可能较小）。 然后只需与该表连接并使用不存在的限定符即可，如所述。 然后当然要在处理卢克后放下桌子

Answer 2

存在将使查询短路，并且不会像联接那样对表进行完整遍历。 如果此子句仍无法执行您想要的方式，您也可以重构where子句。

SELECT *
FROM ImportData t2
WHERE NOT EXISTS (
    select 1 
    from Destination t1
    where (t2.Tel1!='' AND (t2.Tel1 IN (t1.Tel1,t1.Tel2,t1.Tel3)))
          or
          (t2.Tel2!='' AND (t2.Tel2 IN (t1.Tel1,t1.Tel2,t1.Tel3)))
          or
          (t2.Tel3!='' AND (t2.Tel3 IN (t1.Tel1,t1.Tel2,t1.Tel3)))
    )

Answer 3

我不确定此查询的性能，但是由于我努力编写此查询，因此无论如何都会将其发布...

;with aaa(tel)
as
(
select Tel1
from Destination
union
select Tel2
from Destination
union
select Tel3
from Destination
)
,bbb(tel, id)
as
(
select Tel1, account_id
from ImportData
union
select Tel2, account_id
from ImportData
union
select Tel3, account_id
from ImportData
)

select distinct b.id
from bbb b
where b.tel in
(
select a.tel
from aaa a
intersect
select b2.tel
from bbb b2
)