[英]Group Rows By Cumulative Sum
我正在解決通過使用屬性的累積總和(在訂購后)對行進行分組的問題。 但我是 python 新手,不知道如何處理它。 請指教。 任何幫助表示贊賞。
這是我的輸入,這是我制作的熊貓數據框。 如您所見,鍵和組都不是有序的。
key group v1 v2
1_A 1 22 4
1_A -1 10 11
1_B 2 15 9
1_B 6 15 2
1_A 2 33 43
1_A 5 50 22
1_A 3 5 122
1_B 1 30 8
1_A 4 1 2
對於數據處理,我需要按組計算 v1 order 的累積和,它是針對具有相同鍵的行。 所以我想我應該先訂購這張桌子。 但我不確定。 請建議。 如果我需要先訂購桌子,新桌子就像下圖所示。 基本上,我將具有相同鍵的行放在一起,並按組對這些行進行排序。
key group v1 v2
1_A -1 10 11
1_A 1 22 4
1_A 2 33 43
1_A 3 5 122
1_A 4 1 2
1_A 5 50 22
1_B 1 30 8
1_B 2 15 9
1_B 6 1 2
這是我想要的輸出。 主要是我需要按組的順序對 v1 進行累積和,一旦累積和達到閾值,這里說 30,累積停止,並重新開始下一行。 這個過程一直持續到它到達同一組的最后一行。 最后,如果最后一個 bin(s) 小於 30,則將它們與較低的 bin(s) 合並,如 1_B 所示,其中組 2 和組 6 加在一起只有 16 (<30),所以他們需要與第 1 組合並。
請注意,bin 編號可能與我這里的不同。 只要它為同一組提供相同的 bin 編號,它就可以工作。 例如,您可以將 1、2、3 完全替換為 A、B、C,或者替換為 3、2、1,或者替換為 A100、B201、M434。
key group v1 v2 bin sum_v1 sum_v2
1_A -1 10 11 1 32 15
1_A 1 22 4 1 32 15
1_A 2 33 43 2 33 43
1_A 3 5 122 3 56 146
1_A 4 1 2 3 56 146
1_A 5 50 22 3 56 146
1_B 1 30 8 1 46 19
1_B 2 15 9 1 46 19
1_B 6 1 2 1 46 19
編輯:現在我在下面發布了一個完整的解決方案作為答案。 享受。
我創建了一個解決方案。 我被完整的工作困住了,但一旦我意識到它可以分解成小工作,我就能夠一次解決這些小任務。 過程並不艱難。 計划是最難的部分。 所以現在我與大家分享我的結果,以防有人有同樣的難題(我已經注意到兩個預訂星表示有人感興趣)。 瞧!
import pandas as pd
data = [['1_A',1, 22, 4],['1_A', -1, 10, 11 ],['1_B',2, 15, 9],['1_B',6, 1, 2],['1_A',2, 33, 43 ],['1_A',5, 50, 22 ],['1_A',3, 5 , 122],['1_B',1, 30, 8],['1_A',4, 1 , 2]]
df_1 = pd.DataFrame(data, columns = ['key', 'group', 'v1', 'v2'])
df_2 = df_1.sort(['key', 'group'])
def f1(df, thresh):
myList = []
bin = 0
sum_v1 = 0
sum_v2 = 0
new_df = pd.DataFrame(columns = ['key', 'group', 'v1', 'v2', 'sum_v1', 'sum_v2', 'bin'])
for i, (key, group, v1, v2) in df.iterrows():
if key not in myList:
myList.append(key)
bin = 1
sum_v1 = v1
sum_v2 = v2
else:
if sum_v1 < thresh:
bin += 0
sum_v1 += v1
sum_v2 += v2
else:
bin += 1
sum_v1 = v1
sum_v2 = v2
new_df.loc[i, ['key']] = key
new_df.loc[i, ['group']] = group
new_df.loc[i, ['v1']] = v1
new_df.loc[i, ['v2']] = v2
new_df.loc[i, ['sum_v1']] = sum_v1
new_df.loc[i, ['sum_v2']] = sum_v2
new_df.loc[i, ['bin']] = bin
return new_df
new_df_2 = f1(df_2, 30)
df_3 = new_df_2.groupby(['key', 'bin']).agg({'v1': "sum", 'v2': "sum"}).reset_index()
df_3.rename(columns={'v2': 'a_c_sum_v2', 'v1': 'a_c_sum_v1'}, inplace=True)
def f2(df, thresh):
df_tmp = df.sort(['key', 'bin'], ascending=[1, 0])
myList = []
bin_d = 0
sum_v1_d = 0
sum_v2_d = 0
new_df = pd.DataFrame(columns = ['key', 'bin', 'a_c_sum_v1', 'a_c_sum_v2', 'sum_v1_d', 'sum_v2_d', 'bin_d'])
for i, (key, bin, v1, v2) in df_tmp.iterrows():
if key not in myList:
myList.append(key)
bin_d = 1
sum_v1_d = v1
sum_v2_d = v2
else:
if sum_v1_d < thresh:
bin_d += 0
sum_v1_d += v1
sum_v2_d += v2
else:
bin_d += 1
sum_v1_d = v1
sum_v2_d = v2
new_df.loc[i, ['key']] = key
new_df.loc[i, ['bin']] = bin
new_df.loc[i, ['a_c_sum_v1']] = v1
new_df.loc[i, ['a_c_sum_v2']] = v2
new_df.loc[i, ['sum_v1_d']] = sum_v1_d
new_df.loc[i, ['sum_v2_d']] = sum_v2_d
new_df.loc[i, ['bin_d']] = bin_d
return new_df
new_df_3 = f2(df_3, 30)
df_4 = new_df_3.groupby(['key', 'bin_d']).agg({'a_c_sum_v1': "sum", 'a_c_sum_v2': "sum"}).reset_index()
df_4.rename(columns={'a_c_sum_v2': 'sum_v2', 'a_c_sum_v1': 'sum_v1'}, inplace=True)
m_1 = pd.merge(new_df_3[['key', 'bin', 'bin_d']], df_4[['key', 'bin_d', 'sum_v1', 'sum_v2']], left_on=['key', 'bin_d'], right_on=['key', 'bin_d'], how='left')
m_2 = pd.merge(new_df_2[['key', 'group', 'bin']], m_1[['key', 'bin', 'bin_d', 'sum_v1', 'sum_v2']], left_on=['key', 'bin'], right_on=['key', 'bin'], how='left')
m_3 = pd.merge(df_1[['key', 'group', 'v1', 'v2']], m_2[['key', 'group', 'bin_d', 'sum_v1', 'sum_v2']], left_on=['key', 'group'], right_on=['key', 'group'], how='left')
m_3.rename(columns={'bin_d': 'bin'}, inplace=True)
m_3.sort(['key', 'group'])
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.