應用自定義 groupby 聚合 function 來查找 Numpy 數組的平均值

Question

我有一個 pandas DataFrame，其中 B 包含固定大小的 NumPy 列表。

|------|---------------|-------|
|  A   |       B       |   C   |
|------|---------------|-------|
|  0   |   [2,3,5,6]   |   X   |
|------|---------------|-------|
|  1   |   [1,2,3,4]   |   X   |
|------|---------------|-------|
|  2   |   [2,3,6,5]   |   Y   |
|------|---------------|-------|
|  3   |   [2,3,2,3]   |   Y   |
|------|---------------|-------|
|  4   |   [2,3,4,4]   |   Y   |
|------|---------------|-------|
|  5   |   [2,3,5,6]   |   Z   |
|------|---------------|-------|

我想按“C”列對這些進行分組，並計算“B”值的平均值作為列表。 如下表所示。 我想有效地做到這一點。

|----------------|-------|
|        B       |   C   |
|----------------|-------|
|  [1.5,2.5,4,5] |   X   |
|----------------|-------|
|    [2,3,4,4]   |   Y   |
|----------------|-------|
|    [2,3,5,6]   |   Z   |
|----------------|-------|

我考慮過將 NumPy 列表分成單獨的列。 但那將是我最后的選擇。

如何編寫自定義聚合 function，因為現在 B 列顯示非數字並顯示

DataError: No numeric types to aggregate 

Answer 1

將值轉換為二維數組然后使用np.mean您的需求：

f = lambda x: np.mean(np.array(x.tolist()), axis=0)
df2 = df.groupby('C')['B'].apply(f).reset_index()
print (df2)
   C                     B
0  X  [1.5, 2.5, 4.0, 5.0]
1  Y  [2.0, 3.0, 4.0, 4.0]
2  Z  [2.0, 3.0, 5.0, 6.0]

最后一個選項解決方案是可能的，但效率較低（感謝@Abhik Sarkar 進行測試）：

df1 = pd.DataFrame(df.B.tolist()).groupby(df['C']).mean()
df2 = pd.DataFrame({'B': df1.values.tolist(), 'C': df1.index})
print (df2)
                      B  C
0  [1.5, 2.5, 4.0, 5.0]  X
1  [2.0, 3.0, 4.0, 4.0]  Y
2  [2.0, 3.0, 5.0, 6.0]  Z

Answer 2

虛擬數據

size,list_size = 10,5
data = [{'C':random.randint(95,100), 
         'B':[random.randint(0,10) for i in range(list_size)]} for j in range(size)]
df = pd.DataFrame(data)

使用 numpy 的自定義聚合

unique_C = df.C.unique()
data_calculated  = []
axis = 0

for c in unique_C:
    arr = np.reshape(np.hstack(df[df.C==c]['B']),(-1,list_size))
    mean, std = arr.mean(axis=axis), arr.std(axis=axis)  # other aggergation can also be added
    data_calculated.append(dict(C=t,B_mean=mean, B_std=std))
new_df = pd.DataFrame(data_calculated)