在Python中为多个数据集匹配字符串

Question

我正在使用python，需要匹配多个数据文件的字符串。 首先，我用pickle解压缩文件，然后将它们放入列表中。 我只想匹配具有相同条件的字符串。 此条件显示在字符串的末尾。

我的工作脚本大致如下所示：

import pickle

f = open("data_a.dat")
list_a = pickle.load( f )
f.close()

f = open("data_b.dat")
list_b = pickle.load( f )
f.close()

f = open("data_c.dat")
list_c = pickle.load( f )
f.close()

f = open("data_d.dat")
list_d = pickle.load( f )
f.close()


for a in list_a:
    for b in list_b:
        for c in list_c
            for d in list_d:
                 if a.GetName()[12:] in b.GetName(): 
                      if a.GetName[12:] in c.GetName():
                         if a.GetName[12:] in d.GetName():
                              "do whatever"

这似乎对这两个列表都适用。 当我尝试添加更多的8或9个数据文件时，这些问题就开始了，而我也需要为它们匹配相同的条件。 简单的脚本将无法处理，并且会卡住。 我感谢您的帮助。

编辑：每个列表都包含以用于创建它们的参数命名的直方图。 直方图的名称在字符串的末尾包含这些参数及其值。 在示例中，我对2个数据集进行了处理，现在我想对9个数据集进行处理，而无需使用多个循环。

编辑2.我只是扩展了代码以更准确地反映我想要做的事情。 现在，如果我尝试对9个列表执行此操作，那么它不仅看起来很恐怖，而且也不起作用。

Answer 1

意料之外：

files = ["file_a", "file_b", "file_c"]
sets = []

for f in files:
    f = open("data_a.dat")
    sets.append(set(pickle.load(f)))
    f.close()

intersection = sets[0].intersection(*sets[1:])

编辑：好吧，我忽略了您对x.GetName（）[12：]的映射，但是您应该能够减少设置逻辑的问题。

Answer 2

这是您可以启发的一小段代码。 主要思想是使用递归函数。

为了简单起见，我承认我已经在列表中加载了数据，但是您可以在之前从文件中获取它们：

data_files = [
    'data_a.dat',
    'data_b.dat',
    'data_c.dat',
    'data_d.dat',
    'data_e.dat',
]

lists = [pickle.load(open(f)) for f in data_files]

而且由于并没有真正获得您真正需要做的细节，因此我的目标是找到四个首字符的匹配项：

def do_wathever(string):
    print "I have match the string '%s'" % string

lists = [
    ["hello", "world", "how", "grown", "you", "today", "?"],
    ["growl", "is", "a", "now", "on", "appstore", "too bad"],
    ["I", "wish", "I", "grow", "Magnum", "mustache", "don't you?"],
]

positions = [0 for i in range(len(lists))]

def recursive_match(positions, lists):
    strings = map(lambda p, l: l[p], positions, lists)
    match = True
    searched_string = strings.pop(0)[:4]
    for string in strings:
        if searched_string not in string:
            match = False
            break
    if match:
        do_wathever(searched_string)


    # increment positions:
    new_positions = positions[:]
    lists_len = len(lists)
    for i, l in enumerate(reversed(lists)):
        max_position = len(l)-1
        list_index = lists_len - i - 1
        current_position = positions[list_index]
        if max_position > current_position:
            new_positions[list_index] += 1
            break
        else:
            new_positions[list_index] = 0
            continue

    return new_positions, not any(new_positions)


search_is_finished = False

while not search_is_finished:
    positions, search_is_finished = recursive_match(positions, lists)

当然，您可以在这里优化很多事情，这是草稿代码，但看看递归函数 ，这是一个主要概念。

Answer 3

最后，我最终使用了内置的地图功能。 我意识到现在我应该比以前更加明确（以后将要做）。

我的数据文件是带有5个参数的直方图，有些带有3或4个参数。

par1=["list with some values"]
par2=["list with some values"]
par3=["list with some values"]
par4=["list with some values"]
par5=["list with some values"]

我需要检查针对参数值的每种可能组合绘制的数量的行为。 最后，我得到一个数据文件，其中包含〜300个直方图，每个直方图的名称均已标识，并带有相应的参数值和样品名称。 看起来像

datasample1-par1=val1-par2=val2-par3=val3-par4=val4-par5=val5
datasample1-"permutation of the above values"
...
datasample9-par1=val1-par2=val2-par3=val3-par4=val4-par5=val5
datasample9-"permutation of the above values"    

因此，我为9个数据文件中的每一个获得了300个直方图，但是幸运的是，所有这些直方图都是以相同的顺序创建的。 因此，我可以只使用内置的地图将它们配对。 我将数据文件解压缩，将每个文件放到列表中，然后使用map函数将每个直方图与其在其他数据样本中的相应配置配对。

for lst in map(None, data1_histosli, data2_histosli, ...data9_histosli):  
  do_something(lst)

这解决了我的问题。 谢谢大家的帮助！