SQL中两个字符串的公共子字符串

Question

我需要在SQL两个字符串中找到共同的子串（无空格）。

查询：

select *
from tbl as a, tbl as b
where a.str <> b.str

样本数据：

str1      | str2      | max substring without spaces
----------+-----------+-----------------------------
aabcdfbas | rikcdfva  | cdf
aaab akuc | aaabir a  | aaab
ab akuc   | ab atr    | ab

Answer 1

我不同意那些说SQL不是这项工作的工具的人的意见。 在有人向我展示比我在任何编程语言中的解决方案都快的解决方案之前，我将平均认为SQL（以基于集合的，无副作用的方式编写，仅使用不可变变量）是完成此工作的唯一工具（ varchar（8000）-或nvarchar（4000））。 以下解决方案适用于varchar（8000）。

1.正确索引的理货（数字）表。

-- (1) build and populate a persisted (numbers) tally 
IF OBJECT_ID('dbo.tally') IS NOT NULL DROP TABLE dbo.tally;
CREATE TABLE dbo.tally (n int not null);

WITH DummyRows(V) AS(SELECT 1 FROM (VALUES (1),(1),(1),(1),(1),(1),(1),(1),(1),(1)) t(N))
INSERT dbo.tally
SELECT TOP (8000) ROW_NUMBER() OVER (ORDER BY (SELECT 1))
FROM DummyRows a CROSS JOIN DummyRows b CROSS JOIN DummyRows c CROSS JOIN DummyRows d;

-- (2) Add Required constraints (and indexes) for performance
ALTER TABLE dbo.tally 
ADD CONSTRAINT pk_tally PRIMARY KEY CLUSTERED(N) WITH FILLFACTOR = 100;

ALTER TABLE dbo.tally 
ADD CONSTRAINT uq_tally UNIQUE NONCLUSTERED(N);

请注意，理货表功能将无法正常运行。

2.使用统计表返回所有可能的子字符串

以“ abcd”为例，让我们获取所有的子字符串。 注意我的评论。

DECLARE @s1 varchar(8000) = 'abcd';

SELECT
  position  = t.N,
  tokenSize = x.N,
  string    = substring(@s1, t.N, x.N)  
FROM       dbo.tally t -- token position
CROSS JOIN dbo.tally x -- token length
WHERE t.N <=  len(@s1) -- all positions
AND   x.N <=  len(@s1) -- all lengths
AND   len(@s1) - t.N - (x.N-1) >= 0 -- filter unessesary rows [e.g.substring('abcd',3,2)]

这返回

position    tokenSize   string
----------- ----------- -------
1           1           a
2           1           b
3           1           c
4           1           d
1           2           ab
2           2           bc
3           2           cd
1           3           abc
2           3           bcd
1           4           abcd

3. dbo.getshortstring8K

这个功能是关于什么的？ 第一次重大优化。 我们将把两个字符串中较短的一个分解为每个可能的子字符串，然后查看它是否存在于较长的字符串中。 如果您有两个字符串（S1和S2），并且S1比S2长，则我们知道S1的任何子字符串（比S2长）都不是S2的子字符串。 这就是dbo.getshortstring的目的：确保我们不执行任何不必要的子字符串比较。 稍后，这将更有意义。

这非常重要，因为可以使用Triangle Number Function来计算字符串中子字符串的数量 。 以N作为字符串的长度（字符数），子字符串的数目可以计算为N *（N + 1）/ 2 。 例如，“ abc”具有6个子字符串：3 *（3 + 1）/ 2 = 6; a，b，c，ab，bc，abc 如果我们将“ abc”与“ abcdefgh”进行比较，则无需检查“ abcd”是否为“ abc”的子字符串。

将“ abcdefgh”（长度= 8）分解为所有可能的子字符串需要8 *（8 + 1）/ 2 = 36个运算（“ abc”为6 ）。

IF OBJECT_ID('dbo.getshortstring8k') IS NOT NULL DROP FUNCTION dbo.getshortstring8k;
GO
CREATE FUNCTION dbo.getshortstring8k(@s1 varchar(8000), @s2 varchar(8000))
RETURNS TABLE WITH SCHEMABINDING AS RETURN 
SELECT s1 = CASE WHEN LEN(@s1) < LEN(@s2) THEN @s1 ELSE @s2 END,
       s2 = CASE WHEN LEN(@s1) < LEN(@s2) THEN @s2 ELSE @s1 END;

4.查找较长字符串中存在的较短字符串的所有子串：

DECLARE @s1 varchar(8000) = 'bcdabc', @s2 varchar(8000) = 'abcd';

SELECT
  s.s1, -- test to make sure s.s1 is the shorter of the two strings
  position  = t.N,
  tokenSize = x.N,
  string    = substring(s.s1, t.N, x.N)
FROM dbo.getshortstring8k(@s1, @s2) s --<< get the shorter string
CROSS JOIN dbo.tally t  
CROSS JOIN dbo.tally x
WHERE t.N between 1 and len(s.s1)
AND   x.N between 1 and len(s.s1)
AND   len(s.s1) - t.N - (x.N-1) >= 0
AND   charindex(substring(s.s1, t.N, x.N), s.s2) > 0;

5.仅检索最长的公共子字符串

这是简单的部分。 我们只需将TOP (1) WITH TIES添加到我们的SELECT语句中，便一切就绪。 在这里，最长的公共子字符串是“ bc”和“ xx”

DECLARE @s1 varchar(8000) = 'xxabcxx', @s2 varchar(8000) = 'bcdxx';

SELECT TOP (1) WITH TIES 
  position  = t.N,
  tokenSize = x.N,
  string    = substring(s.s1, t.N, x.N)
FROM dbo.getshortstring8k(@s1, @s2) s
CROSS JOIN dbo.tally t  
CROSS JOIN dbo.tally x
WHERE t.N between 1 and len(s.s1)
AND   x.N between 1 and len(s.s1)
AND   len(s.s1) - t.N - (x.N-1) >= 0
AND   charindex(substring(s.s1, t.N, x.N), s.s2) > 0
ORDER BY x.N DESC;

6.将此逻辑应用于表

使用APPLY，我们将我的变量@ s1和@ s2替换为t.str1和t.str2。 我添加了一个过滤器以排除包含空格的匹配项（请参阅我的评论）...而且我们关闭了：

-- easily consumbable sample data
DECLARE @yourtable TABLE (str1 varchar(8000), str2 varchar(8000));
INSERT @yourtable 
VALUES ('aabcdfbas','rikcdfva'),('aaab akuc','aaabir a'),('ab akuc','ab atr');

SELECT str1, str2,  [max substring without spaces] = string
FROM @yourtable t
CROSS APPLY 
(
    SELECT TOP (1) WITH TIES 
      position  = t.N,
      tokenSize = x.N,
      string    = substring(s.s1, t.N, x.N)
    FROM dbo.getshortstring8k(t.str1, t.str2) s -- @s1 & @s2 replaced with str1 & str2 
    CROSS JOIN dbo.tally t  
    CROSS JOIN dbo.tally x
    WHERE t.N between 1 and len(s.s1)
    AND   x.N between 1 and len(s.s1)
    AND   len(s.s1) - t.N - (x.N-1) >= 0
    AND   charindex(substring(s.s1, t.N, x.N), s.s2) > 0
    AND   charindex(' ',substring(s.s1, t.N, x.N)) = 0 -- exclude substrings with spaces
    ORDER BY x.N DESC
) lcss;

结果：

str1        str2      max substring without spaces
----------- --------- ------------------------------
aabcdfbas   rikcdfva  cdf
aaab akuc   aaabir a  aaab
ab akuc     ab atr    ab

和执行计划：

...没有任何分类或不必要的操作。 只是速度。 对于更长的字符串（例如50个字符以上），我有一种更快的技巧，您可以在这里阅读。