從語料庫中提取相似的詞

Question

我想從語料庫中提取相似的詞。 相似性基於字符串。 即，當兩個單詞的字符串高度相似時，兩個單詞提取為相似單詞。 例如，如果語料庫包含：Aras，bahro，arasis，adkpo，bah，aras sd，kio。

相似詞：

1- aras，arasis，aras SD

2- bahro，bah

如何解決這個問題呢？ 謝謝。

Answer 1

Levenshtein距離是用於測量兩個單詞序列之間的差異的度量，也許您可​​以采用一個單詞序列並計算距離以了解它們是否相似。