比较多个Python列表并合并Levenshtein相似性

Question

我编写了一个Python函数，该函数接受两个列表，使用Levenshtein对其进行比较，并将足够相似的单词合并到一个名为“ merged ”的列表中。

如何针对6个以上的列表执行此操作？ 确保将每个列表与其他5个列表进行比较，依此类推？

first_list = ["Mouse", "Cat", "Dog", "Gremlinge", "Horse"]
second_list = ["Mouse", "Cat", "Hors", "Dog", "Gremling"]
third_list = ["Mouse", "Cat", "Horrs", "Dog", "Greemling"]
fourth_list = ["Mouse", "Cate", "Dog", "Gremlinge", "Horse"]
fifth_list = ["Mose", "Cat", "Hors", "Dog", "Gremling"]
sixth_list = ["Mouse", "Cat", "Horser", "Doeg", "Gremling"]

def lev_merging(a, b): # function to compare 2 lists
  merged = [] # Empty list to add the matching words
  for first in a:
    for second in b:
      if levenshtein(first, second) < 2:
        merged.append(set([first,second]))
  return merged

print (lev_merging(first_list,second_list))

可以正常运行www.repl.it的代码。

Answer 1

我们将有一个字符串列表列表

list_of_lists = [["Mouse", "Cat", "Dog", "Gremlinge", "Horse"],
                  ["Mouse", "Cat", "Hors", "Dog", "Gremling"],
                  ["Mouse", "Cat", "Horrs", "Dog", "Greemling"],
                  ["Mouse", "Cate", "Dog", "Gremlinge", "Horse"],
                  ["Mose", "Cat", "Hors", "Dog", "Gremling"],
                  ["Mouse", "Cat", "Horser", "Doeg", "Gremling"]]

然后，我们将遍历此列表，跟踪我们在其中的列表的索引，并将此列表与其后的所有列表进行比较。

def merging(list_of_lists):
    merged = []
    for i, a in enumerate(list_of_lists):
        for b in list_of_lists[i+1:]:
            for first in a:
                for second in b:
                    if lev(first, second) < 2:
                        merged.append((first, second))
    return merged

编辑：下面的代码将成对的列表传递给一个函数，并将它们分成几组。 然后，我们将这些组中的每个组处理为一组，以删除重复项。

target_num_words = 6
target_num_words

def merging(list_of_lists):
    groups = []
    for i, a in enumerate(list_of_lists):
        for b in list_of_lists[i+1:]:
            if number_of_matches(a, b) >= target_num_words:
                for g in groups:
                    if a in g or b in g:
                        g.append(a if b in g else b)
                        break
                else:
                    groups.append([a, b])
    merged = []
    for g in groups:
        if len(g) >= target_num_lists:
            merged.append({x for l in g for x in l})
    return merged

number_of_matches是您的Levenshtein代码，除了它只是返回两个列表之间存在的匹配单词数。 即使这不是您想要的，这也应该使您了解如何到达那里。

Answer 2

这个答案有两个解决方案。 两者都需要创建一个列表，其中包含要比较的所有列表。

例如，使用上面的案例，您将执行以下操作：

lists = [first_list, second_list]

ITERTOOLS解决方案

在此解决方案中，您使用itertools.combinations方法，该方法将遍历所有可能的组合，这意味着它将每个列表与其他每个列表进行比较。 您可以这样实现：

import itertools
for a, b in itertools.combinations(lists, 2):
    for first in a:
        for second in b:
            if levenshtein(first, second) < 2:
                merged.append(first)

itertools.combinations方法采用两个参数，第一个是可迭代的，第二个是每种组合中元素的数量。 在这种情况下2。例如：

itertools.combinations('ABCD', 2)

收益：

('A', 'B')
('A', 'C')
('A', 'D')
('B', 'C')
('B', 'D')
('C', 'D')

和：

itertools.combinations('ABCD', 3)

收益：

('A', 'B', 'C')
('A', 'B', 'D')
('A', 'C', 'D')
('B', 'C', 'D')

FOR LOOP解决方案

如果您不想导入一些奇怪的模块，请不要担心。 您始终可以使用仅需要2个for循环的此解决方案。

for i in range(len(lists)):
    for j in range(i + 1, len(lists)):
        for first in lists[i]:
            for second in lists[j]:
                if levenshtein(first, second) < 2:
                    merged.append(set([first,second]))

这样，您就可以成功比较每个列表中的每个项目与其他列表中的每个项目，而无需两次比较两个列表。