用于文本算法的 .NET 库？

Question

你知道任何用于文本算法的 .NET 库吗？
特别是我对字符串匹配和全文搜索算法感兴趣

• Bitap算法
• 莱文斯坦距离
• Damerau-Levenshtein 距离

我知道我提到的一种编码非常简单，但是有数百种文本算法，我不想自己全部编码。
如果没有这样的 .NET 库，你可以提到 C、C++ 库，编码包装会比从零编码更容易。

Answer 1

您可能有兴趣查看 Google Code 上的google-diff-match-patch库。 他们有一个 Myer 的 diff 算法的实现，它声称也实现了一个“核心”的 Bitap 算法。

它具有您正在寻找的 C# 源代码以及 Java、C++、Lua 和 Python 中的实现。 虽然我对如何在实践中使用 Bitap 没有最好的理解（Google Code 项目中有演示），但我认为您会对当前版本的第 1476 行左右开始的匹配函数最感兴趣。

更新：

稍微挖掘一下，在 CodeProject 上找到了C#中Levenshtein的实现。

此外， 此 C# 类文件包含 SourceForge 上 Levenshtein 的实现。 该实现是 Corsis（又名 Tenka Text）项目的一部分。 作者声称 YetiLevenshtein 方法（大约第 741 行）比上面引用的算法的 CodeProject 版本中使用的实现快 2 到 10 倍。

更新#2：

我刚刚发现了 wikibook Algorithm implementation ，它是 Levenshtein Distance 的 C# 版本，并且必须包含它，因为它看起来非常直截了当。 这本维基书看起来是一个很好的参考，可以随身携带。

C# 中的 Levenshtein 距离（由 Wikibooks 提供）

    private Int32 levenshtein(String a, String b)
    {

        if (string.IsNullOrEmpty(a))
        {
            if (!string.IsNullOrEmpty(b))
            {
                return b.Length;
            }
            return 0;
        }

        if (string.IsNullOrEmpty(b))
        {
            if (!string.IsNullOrEmpty(a))
            {
                return a.Length;
            }
            return 0;
        }

        Int32 cost;
        Int32[,] d = new int[a.Length + 1, b.Length + 1];
        Int32 min1;
        Int32 min2;
        Int32 min3;

        for (Int32 i = 0; i <= d.GetUpperBound(0); i += 1)
        {
            d[i, 0] = i;
        }

        for (Int32 i = 0; i <= d.GetUpperBound(1); i += 1)
        {
            d[0, i] = i;
        }

        for (Int32 i = 1; i <= d.GetUpperBound(0); i += 1)
        {
            for (Int32 j = 1; j <= d.GetUpperBound(1); j += 1)
            {
                cost = Convert.ToInt32(!(a[i-1] == b[j - 1]));

                min1 = d[i - 1, j] + 1;
                min2 = d[i, j - 1] + 1;
                min3 = d[i - 1, j - 1] + cost;
                d[i, j] = Math.Min(Math.Min(min1, min2), min3);
            }
        }

        return d[d.GetUpperBound(0), d.GetUpperBound(1)];

    }

Answer 2

我设法使用 WikiPedia + Google Code 搜索的组合找到了我需要的大多数算法的实现。

http://en.wikipedia.org/wiki/Category:Algorithms_on_strings
http://www.google.com/codesearch

虽然奇怪的是没有人在这个主题上创建项目，感兴趣的人可以在这方面进行合作。

Answer 3

如果你在做字符串匹配， Lucene.Net值得一看。

但是，我知道这并不完全是您所追求的，虽然您可以在一些 C# 形式中找到大多数这些算法，但我知道没有包含它们的库（我倾向于将其中的一些保留在我的个人图书馆）。

出于兴趣，为什么您需要多个具有几个阈值参数的全匹配算法？

Answer 4

这是我为 Levenshtein / Damerau–Levenshtein 距离实现的一个：

    public static int GetDistance(string left, string right, bool isDamerauDistanceApplied)
    {
        if (left.Length == 0) return right.Length;
        if (right.Length == 0) return left.Length;

        var lenLeft = left.Length;
        var lenRight = right.Length;

        var matrix = new int[lenLeft + 1, lenRight + 1];

        for (var i = 0; i <= lenLeft; i++)
            matrix[i, 0] = i;

        for (var i = 0; i <= lenRight; i++)
            matrix[0, i] = i;

        for (var i = 1; i <= lenLeft; i++)
        {
            for (var j = 1; j <= lenRight; j++)
            {
                var cost = (left[i - 1] == right[j - 1]) ? 0 : 1;

                matrix[i, j] = Math.Min(Math.Min(matrix[i - 1, j] + 1, matrix[i, j - 1] + 1), matrix[i - 1, j - 1] + cost);

                if (isDamerauDistanceApplied)
                {
                    // Fixed for string base 0 index.
                    if (i > 1 && j > 1 && left[i - 1] == right[j - 2] && left[i - 2] == right[j - 1])
                    {
                        matrix[i, j] = Math.Min(matrix[i, j], matrix[i - 2, j - 2] + cost);
                    }
                }
            }
        }

        return matrix[lenLeft, lenRight];
    }

Answer 5

我建议使用SimMetrics库，它有许多不同的字符串匹配算法。 也可在NuGet 上使用。

简短的介绍：

SimMetrics 是一个相似性度量库，例如从编辑距离（Levenshtein、Gotoh、Jaro 等）到其他度量（例如 Soundex、Chapman）。

GPLv2 许可证。

Answer 6

我发现并使用了以下 .NET 库，它在我遇到的一个问题上实现了 Tom Petricek 的 Aho-Corasick 文本匹配。 它对我很有用。