Python groupby：自定义分析各组

Question

我有一个包含排名数据的 excel 文件。 这些列是 ID、日期和等级。 我想找出从一个级别移动到另一个级别所需的平均时间。 为此，我想按 ID 对我的 dataframe 进行分组，然后按时间排序，然后对于每对连续的条目，计算一个三元组 (rankA, rankB, timeDiff)

例如对于以下数据

ID	日期	秩
1个	2009	l1
2个	2008年	l2
1个	2010	l2
2个	2011年	l3
1个	2012	l3

我想获得三元组 (1,2,1), (2,3,3), (2,3,2) 对应于员工 1 从级别 1 到 2，然后是员工 2 从级别 2 的等级变化到 3，然后员工 1 从 2 级到 3 级。如何做到这一点？

Answer 1

您可以尝试以下操作：

df.sort_values(by=['id', 'year'], inplace=True)
df.reset_index(inplace=True, drop=True)
df['year_diff'] = df['year'].diff()
df['rank_id'] = df['rank'].str.split('l').apply(lambda x: int(x[1]))
df['results'] = 0
df['previous_rank'] = 0

def custom_func(df):

    df['year_diff'] = df['year'].diff()

    df_temp = df.iloc[1:]
    df_temp['results'] = df_temp.apply(lambda x: [x['previous_rank'], x['rank_id'], x['year_diff']], axis=1)
    df.iloc[1:] = df_temp
    return df


for _id in df.id.unique():  
    ## For each unique id calculate the tuple
    # and then change the value of the result in the df
    # Note that you pass df.copy to the function and then change the value of the 
    # original df base on the result of the function
    min_rank = int(df.loc[df['id'] == _id]['rank_id'].unique()[0]) - 1 
    max_rank = int(df.loc[df['id'] == _id]['rank_id'].unique()[-1])
    df.loc[df['id'] == _id, 'previous_rank'] = min_rank
    df.loc[(df['id'] == _id) & (df['rank_id']>min_rank+1), 'previous_rank'] = df.loc[(df['id'] == _id) & (df['rank_id']<max_rank), 'rank_id'].tolist()
    df.loc[df['id'] == _id] = custom_func(df.loc[df['id'] == _id].copy())

df = df.loc[df['results'] != 0]
df.loc[:,['id', 'results']].head()

Answer 2

假设您已将数据读入 dataframe df ，您可以尝试：

res = (
    df
    .sort_values("date")
    .assign(
        rank_b=lambda df: df["rank"].str.lstrip("l").astype("int"),
        rank_a=lambda df: df.groupby("id")["rank_b"].shift(),
        diff=lambda df: df.groupby("id")["date"].diff(),
    )
    .dropna()
    .assign(triplets=lambda df:
        df.apply(lambda r: (int(r.at["rank_a"]), r.at["rank_b"], int(r.at["diff"])), axis=1),
    )
    .drop(columns=["rank_a", "rank_b", "diff"]).reset_index(drop=True)
)

• 首先沿date列排序，以确保以下步骤以正确的顺序连接行（ .shift和.diff ）。
• 从列rank中的字符串中将水平作为整数提取到列rank_b中。
• 按id分组和 (1) 通过移动列rank一次来构建rank_a ，(2) 计算组的年份差异。
• 删除具有NaN的行，源自.shift / .diff 。
• 现在将三元组提取到元组中（从而将浮点数转换为整数）。
• 最后删除辅助列并重置索引（如果您想保留旧索引以便更好地与旧数据框进行比较，请不要这样做）。

示例结果：

   id  date rank   triplets
0   1  2010   l2  (1, 2, 1)
1   2  2011   l3  (2, 3, 3)
2   1  2012   l3  (2, 3, 2)