在合并Python中的重复项时对字典列表进行排序？

Question

所以我有这样一个字典列表：

data = [ { 
           'Organization' : '123 Solar',
           'Phone' : '444-444-4444',
           'Email' : '',
           'website' : 'www.123solar.com'
         }, {
           'Organization' : '123 Solar',
           'Phone' : '',
           'Email' : 'joey@123solar.com',
           'Website' : 'www.123solar.com'
         }, {
           etc...
         } ]

当然，这不是确切的数据。 但是（也许）从我的示例中可以发现我的问题。 我有许多具有相同“组织”名称的记录，但是其中没有一个具有该记录的完整信息。

有没有一种有效的方法来搜索列表，根据字典的第一个条目对列表进行排序，最后合并重复项中的数据以创建唯一的条目？ （请记住，这些词典很大）

Answer 1

您可以使用itertools.groupby ：

from itertools import groupby
from operator import itemgetter
from pprint import pprint

data = [ {
           'Organization' : '123 Solar',
           'Phone' : '444-444-4444',
           'Email' : '',
           'website' : 'www.123solar.com'
         }, {
           'Organization' : '123 Solar',
           'Phone' : '',
           'Email' : 'joey@123solar.com',
           'Website' : 'www.123solar.com'
         },
         {
           'Organization' : '234 test',
           'Phone' : '111',
           'Email' : 'a@123solar.com',
           'Website' : 'b.123solar.com'
         },
         {
           'Organization' : '234 test',
           'Phone' : '222',
           'Email' : 'ac@123solar.com',
           'Website' : 'bd.123solar.com'
         }]


data = sorted(data, key=itemgetter('Organization'))
result = {}
for key, group in groupby(data, key=itemgetter('Organization')):
    result[key] = [item for item in group]

pprint(result)

印刷品：

{'123 Solar': [{'Email': '',
                'Organization': '123 Solar',
                'Phone': '444-444-4444',
                'website': 'www.123solar.com'},
               {'Email': 'joey@123solar.com',
                'Organization': '123 Solar',
                'Phone': '',
                'Website': 'www.123solar.com'}],
 '234 test': [{'Email': 'a@123solar.com',
               'Organization': '234 test',
               'Phone': '111',
               'Website': 'b.123solar.com'},
              {'Email': 'ac@123solar.com',
               'Organization': '234 test',
               'Phone': '222',
               'Website': 'bd.123solar.com'}]}

UPD：

您可以按照以下步骤将项目分为单个字典：

for key, group in groupby(data, key=itemgetter('Organization')):
    result[key] = {'Phone': [],
                   'Email': [],
                   'Website': []}
    for item in group:
        result[key]['Phone'].append(item['Phone'])
        result[key]['Email'].append(item['Email'])
        result[key]['Website'].append(item['Website'])

然后， result是：

{'123 Solar': {'Email': ['', 'joey@123solar.com'],
               'Phone': ['444-444-4444', ''],
               'Website': ['www.123solar.com', 'www.123solar.com']},
 '234 test': {'Email': ['a@123solar.com', 'ac@123solar.com'],
              'Phone': ['111', '222'],
              'Website': ['b.123solar.com', 'bd.123solar.com']}}

Answer 2

有没有一种有效的方法来搜索列表，根据字典的第一个条目对列表进行排序，最后合并重复项中的数据以创建唯一的条目？

是的，但是有一种甚至没有搜索和排序的更有效的方法。 继续学习时，只需建立字典：

datadict = {}
for thingy in data:
    organization = thingy['Organization']
    datadict[organization] = merge(thingy, datadict.get(organization, {}))

现在，您已经对数据进行了线性传递，并对每个数据进行了恒定时间的查找。 因此，它比任何排序的解决方案都要好O（log N）。 这也是一次通过，而不是多次通过，而且它的常量开销可能会更低。

---

目前尚不清楚您要合并这些条目的确切方式，并且没有人可以在不知道要使用什么规则的情况下编写代码。 但这是一个简单的示例：

def merge(d1, d2):
    for key, value in d2.items():
        if not d1.get(key):
            d1[key] = value
    return d1

换句话说，对于d2每个项目，如果d1已经具有真实值（例如非空字符串），则将其保留；否则，将其保留。 否则，添加它。