如何使用 groupby 填充 nans 并填充来自另一个 dataframe 的值

Question

我有带有 ID、subids 和特征的输入数据框 (df1)，在特征列中有 nans，

df1 = pd.DataFrame({'Id': ['A1', 'A2', 'A3', 'B1', 'B2'], 
                'Subid':['A', 'A', 'A', 'B', 'B'], 
                'feature1':[2.6, 6.3, np.nan, np.nan, 3.3],
               'feature2':[55, np.nan, np.nan, 44, 69],
                'feature3':[np.nan, 0.5, 0.3, np.nan, np.nan],
                'feature4':[22, np.nan, 46, np.nan, 33],
                'feature5':[np.nan, np.nan, 52, np.nan, 53]
               })

我有另一个输入数据框（df2），它有 subids 和要填写的特征值。

df2 = pd.DataFrame({'Subid': ['A', 'B'],
                     'feature1': [2.966666666666667, 1.65],
                     'feature2': [18.333333333333332, 56.5],
                     'feature3': [0.26666666666666666, 0.0],
                     'feature4': [22.666666666666668, 16.5],
                     'feature5': [17.333333333333332, 26.5]})

我需要用 df2 中每个特征的值填充 df1 中的 nans。 我尝试了lambda和申请function但无法达到结果

df1.loc[df1['feature1'].isna(), 'feature1'] = df2.groupby('Subid')['feature1'].apply(lambda x:x)

预计 output：

outputdf = pd.DataFrame({'Id': ['A1', 'A2', 'A3', 'B1', 'B2'], 
                'Subid':['A', 'A', 'A', 'B', 'B'], 
                'feature1': [2.6, 6.3, 2.966667, 1.650000, 3.3],
                'feature2': [55, 18.333333, 18.333333, 44, 69],
                'feature3': [0.266667, 0.5, 0.3, 0.000000, 0.000000],
                'feature4': [22, 22.666667, 46, 16.500000, 33],
                'feature5': [17.333333, 17.333333, 52, 26.500000, 53]
               })

快速帮助表示赞赏。

Answer 1

您可以在fillna之前使用merge ：

out = df1.fillna(df1[['Subid']].merge(df2, how='left'))

Output：

   Id Subid  feature1   feature2  feature3   feature4   feature5
0  A1     A  2.600000  55.000000  0.266667  22.000000  17.333333
1  A2     A  6.300000  18.333333  0.500000  22.666667  17.333333
2  A3     A  2.966667  18.333333  0.300000  46.000000  52.000000
3  B1     B  1.650000  44.000000  0.000000  16.500000  26.500000
4  B2     B  3.300000  69.000000  0.000000  33.000000  53.000000

Answer 2

您可以使用 fillna 来填充 np.nans 值并将第二个 dataframe 与匹配的 Subid 合并

result = df1.fillna(df1[['Subid']].merge(df2, on='Subid', how='left'))

Answer 3

for f in [f for f in df1.columns if f.startswith('feature')]:
    df1[f]=df1[f].mask(pd.isnull, df1[['Subid']].merge(df2[['Subid', f]])[f])

回报：

   Id Subid  feature1   feature2  feature3   feature4   feature5
0  A1     A  2.600000  55.000000  0.266667  22.000000  17.333333
1  A2     A  6.300000  18.333333  0.500000  22.666667  17.333333
2  A3     A  2.966667  18.333333  0.300000  46.000000  52.000000
3  B1     B  1.650000  44.000000  0.000000  16.500000  26.500000
4  B2     B  3.300000  69.000000  0.000000  33.000000  53.000000