根据一列删除重复项，并将具有值的行保留在另一列中，如果没有，则保留ID最低的行

Question

我正在Google Cloud上使用MySQL 5.7，试图基于“ EmailAddress”列对MySQL数据进行重复数据删除，但是某些行在“ FullName”列中有一个值，而有些则没有。 我想在FullName列中保留具有值的列，但是如果没有任何包含该EmailAddress的行值是FullName值，则只需保留具有最低ID号的重复项（第一列-主键）。

我最终将其分解为两个单独的查询，如果存在另一个重复的行在FullName列中具有值，则首先删除FullName列中无值的行：

DELETE
FROM customer_info
WHERE id IN
(
 SELECT * 
 FROM
    (   
     SELECT c1.id
     FROM customer_info c1
            INNER JOIN customer_info c2 on c1.EmailAddress=c2.EmailAddress and c1.id!=c2.id
     WHERE 
            (trim(c1.FullName)='' or c1.FullName is NULL)
            and c2.FullName is not NULL
            and length(trim(c2.FullName))!=0
    ) t
)

另一个查询以删除ID较大的行，而在FullName列中未找到值：

DELETE
FROM customer_info
WHERE id IN
(
 SELECT * 
 FROM
    (   
     SELECT c1.id
     FROM customer_info c1
            INNER JOIN customer_info c2 on c1.EmailAddress=c2.EmailAddress and c1.id>c2.id
    ) t
)

这“有效”，但并非如此。 当我让它隔夜运行一小段数据时，它工作了一次，当我醒来时出现了一个错误，但是我查看了数据并完成了。

我是否在查询中遗漏了一些使效率非常低下的东西，还是仅与这种查询的过程相提并论，并且我的代码中没有可能进行明显改进的优化？ 我已将Google Cloud SQL实例最大化为db-n1-highmem-32大小，具有32 GB的内存和1000 GB的存储空间，但在运行一个小时后，它仍然阻塞并弹出2013错误。 我需要这样做，总共需要超过300万行。

例如，这：

id | FullName      | EmailAddress            |
----------------------------------------------
1  | John Doe      | john.doe@email.com      |
2  | null          | janedoe@box.com         |
3  | null          | billybob@bobby.com      |
4  | null          | john.doe@email.com      |
5  | John Lennon   | jlennon@yoohoo.com      |
6  | null          | james.smith@coolmail.com|
7  | null          | billybob@bobby.com      |
8  | Jane Doe      | janedoe@box.com         |

会导致以下结果：

id | FullName      | EmailAddress            |
----------------------------------------------
1  | John Doe      | john.doe@email.com      |
3  | null          | billybob@bobby.com      |
5  | John Lennon   | jlennon@yoohoo.com      |
6  | null          | james.smith@coolmail.com|
8  | Jane Doe      | janedoe@box.com         |

Answer 1

在这种情况下，使用exists()可能会更简单

delete
from customer_info c
where (trim(c.FullName)='' or c.FullName is null)
  and exists (   
     select 1
     from customer_info i
     where i.Email = c.EmailAddress 
      and trim(i.FullName)>'' 
  )

delete
from customer_info c
where exists (
     select 1
     from customer_info i
     where i.Email = c.EmailAddress 
       and i.id < c.id
  )