使用序列匹配器比较文本相似性：为什么小写和大写字符串的结果不同？

Question

我在 pandas dataframe 中有一组文本（字母数字），我想计算文本对（例如文本 1 和 2、2 和 3、3 和 4...）的相似度分数。

我正在使用序列匹配器进行计算并且能够获得分数。 我认为在将它们转换为小写字母后比较文本也是值得的。 我创建了 2 个分数列来比较结果：分数 1 = 非小写文本对的相似性分数（保留文本的原始大小写） 分数 2 = 小写文本对的相似性分数。

我预计小写文本对的相似性分数（分数 2）会更高，因为会有更多字符匹配（例如，“This Sample pHrase”将与“this sample phrase”匹配，因此相似性更高）。 但是，我发现在某些情况下，分数 1 远高于分数 2。你们中有人知道为什么会这样吗？

我试图在 python 文档中搜索并搜索可能的原因，但找不到任何原因。 我错过了什么？ 我想更多地了解这一点，我会很感激任何想法/建议！ 干杯

顺便说一句，我使用 str.lower 将 dataframe 中的文本转换为小写。

Answer 1

如果我理解正确（使用本文作为来源），Sequence Matcher 匹配常见序列，并根据共享序列的数量返回分数。

这不是你想要的。 如果您使用全部小写，那么公共序列将会更长，但数量会更少。

这是错误的工具。 序列匹配器可能适用于基因序列、掷硬币或其他相关事物的相似性，但并不真正适用于文本之间的相似性。

为了选择正确的指标，您首先必须清楚为什么要这样做。 “文本对之间的相似性”是什么意思？ 这是一个重要的问题，答案很大程度上取决于您分析的目的。

典型的衡量标准可能是词的频率分布，无论是否有词干，每个句子或每个段落。 或者您可以使用单词级别的 Levenshtein 距离。 逐字逐句比较文本几乎没有意义。