100 万行的模糊匹配字符串

Question

我有一个包含 100 万行的数据库，根据用户的输入，我需要为他找到最相关的匹配项。

过去编写代码的方式是使用库fuzzywuzzy 。 计算 2 个字符串之间的比率以显示字符串的相似程度。

问题在于我们必须为数据库中的每一行运行比率 function，这意味着 100 万次 function 调用，性能非常糟糕。 我们从未想过我们会达到拥有这么多数据的地步。

在这种情况下，我正在寻找一种更好的算法或解决方案来处理搜索。 我踩到了一个叫做 TF-IDF（词频-逆文档频率）的东西。 它被描述为“大规模模糊匹配”的解决方案，速度更快。

不幸的是，我无法全神贯注并完全理解它是如何工作的，而且我阅读的越多，我就越认为这不是我需要的，因为我看到的所有示例都试图在 2 个列表之间找到相似的匹配项，而不是 1 个字符串和 1 个列表。

那么，我是不是走错路了？ 如果是这样，您能否给我一些关于如何处理这种情况的想法？ 不幸的是，全文搜索只适用于完全匹配，所以在我们的例子中，模糊绝对是我们想要 go 的方式。

如果您要提出使用单独的搜索引擎的想法，我们不想仅仅为此向我们的基础架构添加新工具。