如何使用 Pandas 在 Python 中消除重复的表单提交行？

Question

我有一个表单提交数据集 - 一些 forms 已多次提交。

同一个人，表单中的选择相同，但提交 ID 和提交日期略有不同。

我想删除其中一个提交（我会说第二个，但没关系，因为它们是相同的）。 如果我做：

lit_subset[lit_subset.duplicated()]

我要么没有得到我想要的（因为submission_ids 是唯一的），要么如果我对列进行子集化（删除submission_id 和submission_date）然后我可以看到哪些记录被复制了，但我不知道如何获取其中一个submit_ids 并将其从原始数据集中删除。 在 SQL 服务器中，这对我来说是一件容易的事：

select first_name
    ,last_name
    ,email
    ,telephone
    ,accountNumber
    ,refund_option
    ,max(submission_id) as 'max_submission'
from #refund_form_data
group by first_name
    ,last_name
    ,email
    ,telephone
    ,accountNumber
    ,refund_option
having count(*) > 1

这是一个示例数据集：

import pandas as pd

data = {'submission_id':  ['abc456', 'abc123','def456','ghi789'],
        'first_name': ['Mark', 'Mark','Andrew','Allie'],
        'last_name': ['Baseball', 'Baseball','football','hockey'],
        'choice': ['Athletics', 'Athletics','Falcons','Canucks'],
        }

df = pd.DataFrame (data, columns = ['submission_id', 'first_name','last_name','choice'])

print(df)

我想要一个看起来像这样的 output：

  submission_id first_name last_name     choice
0        abc123       Mark  Baseball  Athletics
1        def456     Andrew  football    Falcons
2        ghi789      Allie    hockey    Canucks

Answer 1

在您的示例中，您可以执行以下操作：

_df = df.groupby(['first_name','last_name','choice'],as_index=False)['submission_id'].head(1)

df = df.merge(_df,how='inner')

或者，如果您想要max ，请执行此操作：

df = df.groupby(['first_name','last_name','choice'],as_index=False)['submission_id'].max()

Answer 2

使用drop_duplicates方法，您可以使用subset参数选择要考虑的列：

df.drop_duplicates(subset=['first_name', 'last_name', 'choice'], inplace=True)