簡體   English   中英

按累積總和對行進行分組

[英]Group Rows By Cumulative Sum

我正在解決通過使用屬性的累積總和(在訂購后)對行進行分組的問題。 但我是 python 新手,不知道如何處理它。 請指教。 任何幫助表示贊賞。

這是我的輸入,這是我制作的熊貓數據框。 如您所見,鍵和組都不是有序的。

key  group v1  v2
1_A   1    22  4
1_A  -1    10  11
1_B   2    15  9
1_B   6    15  2
1_A   2    33  43
1_A   5    50  22
1_A   3    5   122
1_B   1    30  8
1_A   4    1   2

對於數據處理,我需要按組計算 v1 order 的累積和,它是針對具有相同鍵的行。 所以我想我應該先訂購這張桌子。 但我不確定。 請建議。 如果我需要先訂購桌子,新桌子就像下圖所示。 基本上,我將具有相同鍵的行放在一起,並按組對這些行進行排序。

key  group v1  v2
1_A  -1    10  11
1_A   1    22  4
1_A   2    33  43
1_A   3    5   122
1_A   4    1   2
1_A   5    50  22
1_B   1    30  8
1_B   2    15  9
1_B   6    1   2

這是我想要的輸出。 主要是我需要按組的順序對 v1 進行累積和,一旦累積和達到閾值,這里說 30,累積停止,並重新開始下一行。 這個過程一直持續到它到達同一組的最后一行。 最后,如果最后一個 bin(s) 小於 30,則將它們與較低的 bin(s) 合並,如 1_B 所示,其中組 2 和組 6 加在一起只有 16 (<30),所以他們需要與第 1 組合並。

請注意,bin 編號可能與我這里的不同。 只要它為同一組提供相同的 bin 編號,它就可以工作。 例如,您可以將 1、2、3 完全替換為 A、B、C,或者替換為 3、2、1,或者替換為 A100、B201、M434。

key  group v1  v2    bin       sum_v1    sum_v2
1_A  -1    10  11    1         32        15
1_A   1    22  4     1         32        15
1_A   2    33  43    2         33        43
1_A   3    5   122   3         56        146
1_A   4    1   2     3         56        146
1_A   5    50  22    3         56        146
1_B   1    30  8     1         46        19
1_B   2    15  9     1         46        19
1_B   6    1   2     1         46        19

編輯:現在我在下面發布了一個完整的解決方案作為答案。 享受。

我創建了一個解決方案。 我被完整的工作困住了,但一旦我意識到它可以分解成小工作,我就能夠一次解決這些小任務。 過程並不艱難。 計划是最難的部分。 所以現在我與大家分享我的結果,以防有人有同樣的難題(我已經注意到兩個預訂星表示有人感興趣)。 瞧!


import pandas as pd
data = [['1_A',1, 22, 4],['1_A', -1, 10, 11 ],['1_B',2, 15, 9],['1_B',6, 1, 2],['1_A',2, 33, 43 ],['1_A',5, 50, 22 ],['1_A',3, 5 , 122],['1_B',1, 30, 8],['1_A',4, 1 , 2]] 
df_1 = pd.DataFrame(data, columns = ['key', 'group', 'v1', 'v2'])
df_2 = df_1.sort(['key', 'group'])
def f1(df, thresh):
    myList = [] 
    bin = 0     
    sum_v1 = 0     
    sum_v2 = 0   
    new_df = pd.DataFrame(columns = ['key', 'group', 'v1', 'v2', 'sum_v1', 'sum_v2', 'bin']) 
    for i, (key, group, v1, v2) in df.iterrows(): 
        if key not in myList:
            myList.append(key) 
            bin = 1
            sum_v1 = v1
            sum_v2 = v2
        else:
            if sum_v1 < thresh:
                bin += 0
                sum_v1 += v1
                sum_v2 += v2
            else:
                bin += 1
                sum_v1 = v1
                sum_v2 = v2
        new_df.loc[i, ['key']] = key
        new_df.loc[i, ['group']] = group
        new_df.loc[i, ['v1']] = v1
        new_df.loc[i, ['v2']] = v2
        new_df.loc[i, ['sum_v1']] = sum_v1
        new_df.loc[i, ['sum_v2']] = sum_v2
        new_df.loc[i, ['bin']] = bin
    return new_df

new_df_2 = f1(df_2, 30)
df_3 = new_df_2.groupby(['key', 'bin']).agg({'v1': "sum", 'v2': "sum"}).reset_index()
df_3.rename(columns={'v2': 'a_c_sum_v2', 'v1': 'a_c_sum_v1'}, inplace=True)
def f2(df, thresh):
    df_tmp = df.sort(['key', 'bin'], ascending=[1, 0]) 
    myList = [] 
    bin_d = 0 
    sum_v1_d = 0   
    sum_v2_d = 0  
    new_df = pd.DataFrame(columns = ['key', 'bin', 'a_c_sum_v1', 'a_c_sum_v2', 'sum_v1_d', 'sum_v2_d', 'bin_d']) 
    for i, (key, bin, v1, v2) in df_tmp.iterrows(): 
        if key not in myList:
            myList.append(key) 
            bin_d = 1
            sum_v1_d = v1
            sum_v2_d = v2
        else:
            if sum_v1_d < thresh:
                bin_d += 0
                sum_v1_d += v1
                sum_v2_d += v2
            else:
                bin_d += 1
                sum_v1_d = v1
                sum_v2_d = v2
        new_df.loc[i, ['key']] = key
        new_df.loc[i, ['bin']] = bin
        new_df.loc[i, ['a_c_sum_v1']] = v1
        new_df.loc[i, ['a_c_sum_v2']] = v2
        new_df.loc[i, ['sum_v1_d']] = sum_v1_d
        new_df.loc[i, ['sum_v2_d']] = sum_v2_d
        new_df.loc[i, ['bin_d']] = bin_d
    return new_df

new_df_3 = f2(df_3, 30)
df_4 = new_df_3.groupby(['key', 'bin_d']).agg({'a_c_sum_v1': "sum", 'a_c_sum_v2': "sum"}).reset_index()
df_4.rename(columns={'a_c_sum_v2': 'sum_v2', 'a_c_sum_v1': 'sum_v1'}, inplace=True)
m_1 = pd.merge(new_df_3[['key', 'bin', 'bin_d']], df_4[['key', 'bin_d', 'sum_v1', 'sum_v2']], left_on=['key', 'bin_d'], right_on=['key', 'bin_d'], how='left')
m_2 = pd.merge(new_df_2[['key', 'group', 'bin']], m_1[['key', 'bin', 'bin_d', 'sum_v1', 'sum_v2']], left_on=['key', 'bin'], right_on=['key', 'bin'], how='left')
m_3 = pd.merge(df_1[['key', 'group', 'v1', 'v2']], m_2[['key', 'group', 'bin_d', 'sum_v1', 'sum_v2']], left_on=['key', 'group'], right_on=['key', 'group'], how='left')
m_3.rename(columns={'bin_d': 'bin'}, inplace=True)
m_3.sort(['key', 'group'])

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM