前向填充 pandas dataframe 中的自定义值

Question

我希望在一些 dataframe 列上执行前向填充。 ffill方法用之前填充的值替换缺失值或 NaN。 就我而言，我想执行前向填充，不同之处在于我不想在 Nan 上执行此操作，而是针对特定值（例如“*”）。

这是一个例子

import pandas as pd 
import numpy as np

d = [{"a":1, "b":10},
     {"a":2, "b":"*"},
     {"a":3, "b":"*"},
     {"a":4, "b":"*"},
     {"a":np.nan, "b":50},
     {"a":6, "b":60},
     {"a":7, "b":70}]

df = pd.DataFrame(d)

df是

     a   b
0  1.0  10
1  2.0   *
2  3.0   *
3  4.0   *
4  NaN  50
5  6.0  60
6  7.0  70

预期的结果应该是

     a   b
0  1.0  10
1  2.0  10
2  3.0  10
3  4.0  10
4  NaN  50
5  6.0  60
6  7.0  70

如果将 "*" 替换为np.nan然后ffill ，这将导致将ffill应用于列a 。

由于我的数据有数百列，我想知道是否有比遍历所有列更有效的方法，检查它是否包含“*”，然后替换和填充。

Answer 1

我认为您正朝着正确的方向前进，但这是一个完整的解决方案。 我正在做的是“标记”原始 NaN 值，然后用 NaN 替换“*”，使用ffill ，然后将原始 NaN 值放回原处。

df = df.replace(np.NaN, "<special>").replace("*", np.NaN).ffill().replace("<special>", np.NaN)

output：

     a     b
0  1.0  10.0
1  2.0  10.0
2  3.0  10.0
3  4.0  10.0
4  NaN  50.0
5  6.0  60.0
6  7.0  70.0

这是一个替代解决方案，它做同样的事情，没有“特殊”标记：

original_nan = df.isna()
df = df.replace("*", np.NaN).ffill()
df[original_nan] = np.NaN

Answer 2

您可以将df.mask与df.isin与df.replace一起使用

df.mask(df.isin(['*']),df.replace('*',np.nan).ffill())

     a   b
0  1.0  10
1  2.0  10
2  3.0  10
3  4.0  10
4  NaN  50
5  6.0  60
6  7.0  70