使用 pandas 查找具有 Null 的 2 列之间的差异

Question

我想在 pandas DataFrame 中找到 int 类型的 2 列之间的区别。 我正在使用python 2.7。 列如下 -

>>> df
   INVOICED_QUANTITY  QUANTITY_SHIPPED
0                 15               NaN
1                 20               NaN
2                  7               NaN
3                  7               NaN
4                  7               NaN

现在，我想从 INVOICED_QUANTITY 中减去 QUANTITY_SHIPPED 并执行以下操作 -

>>> df['Diff'] = df['QUANTITY_INVOICED'] - df['SHIPPED_QUANTITY']
>>> df
   QUANTITY_INVOICED  SHIPPED_QUANTITY  Diff
0                 15               NaN   NaN
1                 20               NaN   NaN
2                  7               NaN   NaN
3                  7               NaN   NaN
4                  7               NaN   NaN

我如何照顾 NaN 的？ 我想得到以下结果，因为我希望将 NaN 视为 0（零）-

>>> df
       QUANTITY_INVOICED  SHIPPED_QUANTITY  Diff
    0                 15               NaN   15
    1                 20               NaN   20
    2                  7               NaN   7
    3                  7               NaN   7
    4                  7               NaN   7

我不想做df.fillna(0) 。 总而言之，我会尝试以下类似的方法，它可以工作，但没有区别-

>>> df['Sum'] = df[['QUANTITY_INVOICED', 'SHIPPED_QUANTITY']].sum(axis=1)
>>> df
   INVOICED_QUANTITY  QUANTITY_SHIPPED  Diff  Sum
0                 15               NaN   NaN   15
1                 20               NaN   NaN   20
2                  7               NaN   NaN    7
3                  7               NaN   NaN    7
4                  7               NaN   NaN    7

Answer 1

您可以使用sub方法执行减法 - 此方法允许将NaN值视为指定值：

df['Diff'] = df['INVOICED_QUANTITY'].sub(df['QUANTITY_SHIPPED'], fill_value=0)

哪个产生：

   INVOICED_QUANTITY  QUANTITY_SHIPPED  Diff
0                 15               NaN    15
1                 20               NaN    20
2                  7               NaN     7
3                  7               NaN     7
4                  7               NaN     7

---

另一种巧妙的方法是@JianxunLi建议 ：填写列中的缺失值（创建列的副本）并正常减去。

这两种方法几乎相同，虽然sub更高效，因为它不需要提前生成列的副本; 它只是“在飞行中”填充缺失的值：

In [46]: %timeit df['INVOICED_QUANTITY'] - df['QUANTITY_SHIPPED'].fillna(0)
10000 loops, best of 3: 144 µs per loop

In [47]: %timeit df['INVOICED_QUANTITY'].sub(df['QUANTITY_SHIPPED'], fill_value=0)
10000 loops, best of 3: 81.7 µs per loop

Answer 2

我认为简单的填充NaN为0会帮助你。

df['Diff'] = df['INVOICED_QUANTITY'] - df['QUANTITY_SHIPPED'].fillna(0)

Out[153]: 
   INVOICED_QUANTITY  QUANTITY_SHIPPED  Diff
0                 15               NaN    15
1                 20               NaN    20
2                  7               NaN     7
3                  7               NaN     7
4                  7               NaN     7

Answer 3

当两列都是 NaN 时， @Alex Riley和@Jianxun Li建议的解决方案无法按预期工作。 您可以稍微修改@Jianxun Li 的这个解决方案（以牺牲一些计算时间为代价）来解决这个问题。

df['Diff'] = df['INVOICED_QUANTITY'].fillna(0) - df['QUANTITY_SHIPPED'].fillna(0)

我发布了一些比较选项：

data = {'C1':  [1,2,np.nan,np.nan],
        'C2': [6,np.nan,4,np.nan],
       }
df = pd.DataFrame(data)

df['Dif']=df.C1-df.C2
df['Dif2']=df['C1'].sub(df['C2'], fill_value=0)
df['Dif3']=df['C1']-df['C2'].fillna(0)
df['Dif4']=df['C1'].fillna(0)-df['C2']
df['Dif5']=df['C1'].fillna(0)-df['C2'].fillna(0)

print (df)

产生

     C1    C2    Dif   Dif2   Dif3   Dif4   Dif5
0 1.000 6.000 -5.000 -5.000 -5.000 -5.000 -5.000
1 2.000   NaN    NaN  2.000  2.000    NaN  2.000
2   NaN 4.000    NaN -4.000    NaN -4.000 -4.000
3   NaN   NaN    NaN    NaN    NaN    NaN  0.000