有什么方法可以查找和删除与 SQL 几乎相似的记录？

Question

我在 Postgres DB 中有一个表，它有很多几乎相同的行。 例如：

1. 00Zicky_-_San_Pedro_Danilo_Vigorito_Remix
2. 00Zicky_-_San_Pedro__Danilo_Vigorito_Remix__
3. 0101_-_Try_To_Say__Strictlyjaz_Unit_Future_Rmx__
4. 0101_-_Try_To_Say__Strictlyjaz_Unit_Future_Rmx_
5. 01_-_Digital_Excitation_-_Brothers_Gonna_Work_it_Out__Piano_Mix__
6. 01_-_Digital_Excitation_-_Brothers_Gonna_Work_it_Out__Piano_Mix__

我想写一个小的 golang 脚本来删除重复项，但也许 SQL 可以做到吗？

表定义：

\d+ songs
                                                                       Table "public.songs"
    Column     |            Type             | Collation | Nullable |                Default                 | Storage  | Compression | Stats target | Description
---------------+-----------------------------+-----------+----------+----------------------------------------+----------+-------------+--------------+-------------
 song_id       | integer                     |           | not null | nextval('songs_song_id_seq'::regclass) | plain    |             |              |
 song_name     | character varying(250)      |           | not null |                                        | extended |             |              |
 fingerprinted | smallint                    |           |          | 0                                      | plain    |             |              |
 file_sha1     | bytea                       |           |          |                                        | extended |             |              |
 total_hashes  | integer                     |           | not null | 0                                      | plain    |             |              |
 date_created  | timestamp without time zone |           | not null | now()                                  | plain    |             |              |
 date_modified | timestamp without time zone |           | not null | now()                                  | plain    |             |              |
Indexes:
    "pk_songs_song_id" PRIMARY KEY, btree (song_id)
Referenced by:
    TABLE "fingerprints" CONSTRAINT "fk_fingerprints_song_id" FOREIGN KEY (song_id) REFERENCES songs(song_id) ON DELETE CASCADE
Access method: heap

尝试了几种方法来查找重复项，但该方法仅搜索完全相似的内容。

Answer 1

没有本质上是A almost = B 的运算符。 （好吧，有全文搜索，但这里似乎有点过分。）如果唯一的区别是-和_的数量，那么就去掉它们并比较结果差异。 如果它们相等，则一个是重复的。 您可以使用replace() function 来删除它们。 所以像：（见演示）

delete  
  from songs s2 
 where exists ( select null 
                  from songs s1 
                 where s1.song_id < s2.song_id
                   and replace(replace(s1.name, '_',''),'-','') = 
                       replace(replace(s2.name, '_',''),'-','')
              ); 

如果您的表很大，这不会很快，但功能索引可能会有所帮助：

create index song_name_idx on songs
        (replace(replace(name, '_',''),'-',''));