如果数据冗余，有效地重用预建词典的方法？ 深度复制太慢

Question

我有一个代码，其中涉及从预先计算的数据（即，具有许多查找）构建一个非常大的字典。 它使用四整数元组作为键，并使用元组列表作为项。 然后使用每个键的附加功能更新此词典（以便可以在以后的阶段对每个项目进行排序）。 重复上述过程数千次，但是原始（基本）字典保持不变。 原始字典的大小与更新的大小大致相同（但有所不同）。

我尝试使用deepcopy并为了将原始词典用作更新的“基础”。 事实证明，复制比重新构建整个字典要慢一个数量级。

如果不清楚，那么简化的代码也许更有意义：

print timeit.timeit('''
for iteration in xrange(10):
    base_dictionary = {(month, day, hour): [(value, 'some_data_name' + str(value)) for value in xrange(10)]
                      for month in xrange(5)
                      for day in xrange(5)
                      for hour in xrange(5)
                      }
    for valuenumber in xrange(10):
        for id_set in base_dictionary:
            base_dictionary[id_set].append((valuenumber, 'some_data_name' + str(valuenumber)))
'''
,
'''
''', number=100)

结果：1.30800844321秒

print timeit.timeit('''
for iteration in xrange(10):
    new_dictionary = deepcopy(base_dictionary)
    for valuenumber in xrange(10):
        for id_set in new_dictionary:
            new_dictionary[id_set].append((valuenumber, 'some_data_name' + str(valuenumber)))
'''
,
'''
from copy import deepcopy
base_dictionary = {(month, day, hour): [(value, 'some_data_name' + str(value)) for value in xrange(10)]
                  for month in xrange(5)
                  for day in xrange(5)
                  for hour in xrange(5)
                  }
''', number=100)

结果：13.8005886255秒

每次运行迭代时重建相同的词典都是非常浪费的。 有没有办法加快这个过程？

Answer 1

您需要在浅拷贝和深拷贝之间进行操作。 元组不需要复制，因为它们是不可变的。

newdict = {k, v[:] for k, v in olddict.iteritems()}