如何根据选定的列使用 pandas DataFrame 将行聚合在一起

Question

这是我在 Stack Overflow 中的第一个问题。 我会淡化我目前遇到的问题。 我正在尝试为基于用户的协同过滤推荐系统清理数据集。

这是我对所有用例的数据集的过度简化

data = pd.DataFrame({'name':    ['John' ,'Jane' ,'Joe'  ,'John' ,'Jane' ,   'Joe'],
                     'movie1':  [''     , 'bad' , 'avg' , 'nice', ''    , ''    ],
                     'movie2':  ['good' , ''    , ''    , ''    , 'poor', ''    ],
                     'movie3':  ['bad'  , ''    , 'good', ''    , ''    , ''    ],
                     })

从我获取数据的方式来看，我知道即使 John、Jane 和 Joe 可能会重复自己多次，但他们对任何给定电影的评分永远不会超过一个。

我希望能够将重复的用户聚合到一行中，以便终端中的 output 如下所示：

 name movie1 movie2 movie3
0  John   nice  good    bad
1  Jane    bad  poor            
2   Joe    avg          good

这个问题与这个问题非常相似，但不同之处在于我处理的是字符串对象而不是数字，因此我不能使用聚合函数How can I"merge" rows by same value in a column in Pandas with aggregation functions ？

我的真实数据集有 4260 列和 24169 行，因此我无法应用类似df.groupby(['name','month'])['text'].apply(','.join).reset_index()因为不可能写下所有的列名。 来自： 使用 Pandas groupby 连接来自多行的字符串

我尝试按照这个问题的答案进行操作，但要么出现错误，要么我的 dataframe 保持不变。 Pandas | 合并具有相同 ID 的行

尽管从逻辑上讲它没有意义，但我尝试使用data.groupby('name').ffill().drop_duplicates('name',keep='last')我得到了以下错误 = KeyError: Index([ '名称'], dtype='对象')

将 False 传递给 groupby 内的 as_index 给了我完全相同的错误data.groupby('name', as_index=False).ffill().reset_index().drop_duplicates('name', keep='last')

我得到的最接近的是： data = data.groupby('name', as_index=False).apply(lambda x: x.fillna(method='ffill').iloc[0])

它给我的 output 只删除重复的行，但不会将评级添加到剩余数据中：

   name movie1 movie2 movie3
0  Jane    bad              
1   Joe    avg          good
2  John          good    bad

完整代码：

import pandas as pd

data = pd.DataFrame({'name':    ['John' ,'Jane' ,'Joe'  ,'John' ,'Jane' ,   'Joe'],
                     'movie1':  [''     , 'bad' , 'avg' , 'nice', ''    , ''    ],
                     'movie2':  ['good' , ''    , ''    , ''    , 'poor', ''    ],
                     'movie3':  ['bad'  , ''    , 'good', ''    , ''    , ''    ],
                     })
print('Baseline:')
print(data.head())

#data = data.join(data['name'])
#data.groupby('name').ffill().drop_duplicates('name' ,keep='last')
#data.groupby('name', as_index=False).ffill().reset_index().drop_duplicates('name', keep='last')
data = data.groupby('name', as_index=False).apply(lambda x: x.fillna(method='ffill').iloc[0])
#data.groupby('name').ffill().drop_duplicates('name', keep='last')
#data =  data.groupby(['name'])[['movie1','movie2','movie3']].apply('.'.join).reset_index()
print('End result:')
print(data.head())

Answer 1

IIUC，您可以使用groupby_first 。 诀窍是用 nan 替换空字符串，然后在选择第一个有效值后回滚：

>>> data.replace('', np.nan).groupby('name', as_index=False, sort=False).first().fillna('')

   name movie1 movie2 movie3
0  John   nice   good    bad
1  Jane    bad   poor       
2   Joe    avg          good