如何在具有相似字符串值的表中查找行

Question

我有一个Microsoft SQL Server数据库表，其中包含约700万条众包记录，主要包含带有一些相关详细信息的字符串名称值。 对于几乎每条记录，似乎都有许多类似的错字记录，我正在尝试进行一些模糊匹配，以识别记录组，例如“ Apple”，“ Aple”，“ Apples”，“ Spple”等。这些名称也可以包含多个单词，它们之间有空格。

我想出了一个使用编辑距离标量函数的解决方案，该函数返回从string1转换为string2所需的击键次数，并使用该函数将表连接到自身。 可以想象，这样做效果不佳，因为它必须执行该函数数百万次才能评估联接。

因此，我将其放在一个游标中，以便一次至少要评估一个string1，这至少会得出结果，但是让它运行数周之后，它只能通过评估150,000条记录来实现。 有700万人需要评估，我认为我没有那种方法需要花费的时间。

我在字符串名称上放置了全文索引，但是当我没有要搜索的静态值时，却找不到真正的方法来使用全文谓词。

有什么想法可以以无需花费数月的时间来完成以下操作吗？

 SELECT t1.name, t2.name
 FROM names AS t1
 INNER JOIN names AS t2
      ON EditDistance(t1.name,t2.name) = 1
      AND t1.id != t2.id

Answer 1

您可以使用DIFFERENCE ( character_expression , character_expression )函数来评估每个字符表达式在SOUNDEX代码中的差异。 SOUNDEX代码用于评估字符串之间的差异。

DIFFERENCE将返回整数0（可能的最大差异）和4（可能的最小差异）。 您可以利用此值来确定字符串的匹配程度（例如，类似于DIFFERENCE(column1, column2) > 3将匹配column1和column2的SOUNDEX值均column1 1的记录）。

这是指向DIFFERENCE函数的文档的链接： https : //technet.microsoft.com/zh-cn/library/ms188753(v= DIFFERENCE

Answer 2

您需要找到一种避免将每个记录与其他每个记录进行比较的方法。 如果仅使用单个字段，则可以使用特殊的数据结构，例如trie，例如https://github.com/mattandahalfew/Levenshtein_search