有条件地在Pandas数据框中填充空白值

Question

我有一个数据场，如下所示（有更多列被删除）：

    memberID    shipping_country    
    264991      
    264991       Canada
    100          USA    
    5000         
    5000         UK

我正在尝试用每个用户的运送国家/地区的现有值填充空白单元格：

    memberID    shipping_country    
    264991       Canada
    264991       Canada
    100          USA    
    5000         UK
    5000         UK

但是，我不确定在大规模数据集上执行此操作的最有效方法是什么。 也许使用矢量分组方式？

Answer 1

您可以使用GroupBy + ffill / bfill ：

def filler(x):
    return x.ffill().bfill()

res = df.groupby('memberID')['shipping_country'].apply(filler)

自定义功能是必需的，因为没有组合的Pandas方法可以按顺序ffill和bfill 。

这也满足了特定memberID所有值均为NaN的情况; 在这种情况下，它们将保留为NaN 。

Answer 2

对于以下示例数据帧（我在shipping_country列中添加了一个仅包含''的memberID组）：

   memberID shipping_country
0    264991                 
1    264991           Canada
2       100              USA
3      5000                 
4      5000               UK
5        54                 

这应该对您memberID ，并且还具有以下行为：如果memberID组在shipping_country仅具有空字符串值（ '' ），则这些值将保留在输出df ：

df['shipping_country'] = df.replace('',np.nan).groupby('memberID')['shipping_country'].transform('first').fillna('')

产量：

   memberID shipping_country
0    264991           Canada
1    264991           Canada
2       100              USA
3      5000               UK
4      5000               UK
5        54                 

如果要在输出df中将空字符串''保留为NaN ，则只需删除fillna('') ，则保留：

df['shipping_country'] = df.replace('',np.nan).groupby('memberID')['shipping_country'].transform('first')

Answer 3

您可以使用链接的groupby ，一个使用正向填充，另一个使用回填：

# replace blank values with `NaN` first:
df['shipping_country'].replace('',pd.np.nan,inplace=True)

df.iloc[::-1].groupby('memberID').ffill().groupby('memberID').bfill()

   memberID shipping_country
0    264991           Canada
1    264991           Canada
2       100              USA
3      5000               UK
4      5000               UK

此方法还将允许由所有NaN组成的组保留为NaN ：

>>> df
   memberID shipping_country
0    264991                 
1    264991           Canada
2       100              USA
3      5000                 
4      5000               UK
5         1                 
6         1                 

df['shipping_country'].replace('',pd.np.nan,inplace=True)

df.iloc[::-1].groupby('memberID').ffill().groupby('memberID').bfill()

   memberID shipping_country
0    264991           Canada
1    264991           Canada
2       100              USA
3      5000               UK
4      5000               UK
5         1              NaN
6         1              NaN