替换 pandas groupby 并应用以提高性能

Question

我正在使用 Pandas groupby 并申请从一个包含 1.5 亿行的 DataFrame 和以下列：

Id  Created     Item    Stock   Price
1   2019-01-01  Item 1  200     10
1   2019-01-01  Item 2  100     15
2   2019-01-01  Item 1  200     10

一个包含 220 万条记录的列表，如下所示：

[{
  "Id": 1,
  "Created": "2019-01-01",
  "Items": [
    {"Item":"Item 1", "Stock": 200, "Price": 10},
    {"Item":"Item 2", "Stock": 100, "Price": 5}
    ]
},
{
  "Id": 2,
  "Created": "2019-01-01",
  "Items": [
    {"Item":"Item 1", "Stock": 200, "Price": 10}
    ]
}]

主要使用这行代码：

df.groupby(['Id', 'Created']).apply(lambda x: x[['Item', 'Stock', 'Price']].to_dict(orient='records'))

这需要相当长的时间，据我所知，像这样的操作对于熊猫来说是很繁重的。 有没有一种非熊猫的方式来完成同样的事情，但性能更好？

编辑：操作需要 55 分钟，我在 AWS 中使用 ScriptProcessor，它让我指定我想要的电量。

编辑 2 ：所以使用 artonas 解决方案我越来越接近：这就是我现在设法生产的：

defaultdict(<function __main__.<lambda>()>,
            {'1': defaultdict(list,
                         {'Id': '1',
                          'Created':'2019-01-01',
                          'Items': [{'Item': Item2, 'Stock': 100, 'Price': 15},
                                    {'Item': Item1, 'Stock': 200, 'Price': 10}]
                         })
            },
           {'2': defaultdict(list,
                         {'Id': '2',
                          'Created':'2019-01-01',
                          'Items': [{'Item': Item1, 'Stock': 200, 'Price': 10}]
                         })
            },

但是如何从上面到这个呢？

[{
  "Id": 1,
  "Created": "2019-01-01",
  "Items": [
    {"Item":"Item 1", "Stock": 200, "Price": 10},
    {"Item":"Item 2", "Stock": 100, "Price": 5}
    ]
},
{
  "Id": 2,
  "Created": "2019-01-01",
  "Items": [
    {"Item":"Item 1", "Stock": 200, "Price": 10}
    ]
}]

基本上，我只对所有记录的“defaultdict(list,”之后的部分感兴趣。我需要将它放在一个不依赖于 Id 作为键的列表中。

编辑 3 ：上次更新包含我的生产数据集的结果。 通过 artona 提供的公认答案，我设法从55分钟缩短到7 (!) 分钟。 并且没有对我的代码进行任何重大更改。 Phung Duy Phong 提供的解决方案花了我 55 分钟到 17 分钟，也不错。

Answer 1

如果数据框排序清晰，这意味着同一对（ Id ， Created ）的所有行都是连续的，您可以简单地迭代它们。 但是由于迭代数据帧很昂贵，因为 Pandas 必须为每一行构建一个新系列，所以我会直接迭代底层的 numpy 数组。

代码可以是：

records = []
Id = None

for i in range(len(df)):
    if df['Id'].values[i] != Id or df['Created'].values[i] != created:
        items = []
        Id = df['Id'].values[i]
        created = df['Created'].values[i]
        records.append({'Id': Id, 'Created': created,
                'Items': items})

    items.append({x: df[x].values[i]
              for x in ['Item', 'Stock', 'Price']})

如果最初未对数据进行排序，则可以尝试使用 Pandas 对数据框进行排序，然后使用上面的代码

Answer 2

使用 collections.defaultdict 和 itertuples。 它只遍历行一次。

In [105]: %timeit df.groupby(['Id', 'Created']).apply(lambda x: x[['Item', 'Stock', 'Price']].to_dict(orient='records'))
10.1 s ± 44.1 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [107]:from collections import defaultdict
     ...:def create_dict():
     ...:     dict_ids = defaultdict(lambda : defaultdict(list))
     ...:     for row in df.itertuples():
     ...:          dict_ids[row.Id][row.Created].append({"Item": row.Item, "Stock": row.Stock, "Price": row.Price})
     ...:     list_of_dicts = [{"Id":key_id, "Created":key_created, "Items": values} for key_id, value_id in dict_ids.items() for key_created, values in value_id.items()]
     ...:     return list_of_dicts

In [108]: %timeit create_dict()
4.58 s ± 417 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

Answer 3

尝试以下操作：

df['Items'] = df.loc[:, ['X', 'Y', 'Z']].to_dict(orient='records')
df.groupby(['ID', 'CREATED'])['Items'].apply(list).reset_index().to_dict(orient='records')