[英]Pandas dataframe boolean mask on multiple columns
我有一个数据帧(df),其中包含几个具有实际测量值的列和相应的列数(A,B,...),每个列的不确定性(dA,dB,...):
A B dA dB
0 -1 3 0.31 0.08
1 2 -4 0.263 0.357
2 5 5 0.382 0.397
3 -4 -0.5 0.33 0.115
我应用一个函数来根据我的定义在测量列中查找有效的值
df[["A","B"]].apply(lambda x: x.abs()-5*df['d'+x.name] > 0)
这将返回一个布尔数组:
A B
0 False True
1 True True
2 True True
3 True False
我想使用此数组在单个列中选择条件为真的数据帧中的行,例如A - >第1-3行,并且还查找所有输入列的条件为真的行,例如第1行和2 。 有没有一种有效的方法来做大熊猫?
您可以将apply语句的结果用于从原始数据帧中选择布尔索引:
results = df[["A","B"]].apply(lambda x: x.abs()-5*df['d'+x.name] > 0)
返回上面的布尔数组:
A B
0 False True
1 True True
2 True True
3 True False
现在,您可以使用此数组从原始数据名称中选择行,如下所示:
选择A为True的位置:
df[results.A]
A B dA dB
1 2 -4.0 0.263 0.357
2 5 5.0 0.382 0.397
3 -4 -0.5 0.330 0.115
选择A或B为真的位置:
df[results.any(axis=1)]
A B dA dB
0 -1 3.0 0.310 0.080
1 2 -4.0 0.263 0.357
2 5 5.0 0.382 0.397
3 -4 -0.5 0.330 0.115
选择所有列为true的位置:
df[results.all(axis=1)]
A B dA dB
1 2 -4.0 0.263 0.357
2 5 5.0 0.382 0.397
使用底层数组数据,矢量化方法就是这样 -
cols = ['A','B'] # list holding relevant column names
dcols = ['d'+i for i in cols]
out = np.abs(df[cols].values) - 5*df[dcols].values > 0
样品运行 -
In [279]: df
Out[279]:
A B dA dB
0 -1 3.0 0.310 0.080
1 2 -4.0 0.263 0.357
2 5 5.0 0.382 0.397
3 -4 -0.5 0.330 0.115
In [280]: cols = ['A','B'] # list holding relevant column names
...: dcols = ['d'+i for i in cols]
...: out = np.abs(df[cols].values) - 5*df[dcols].values > 0
...:
In [281]: out
Out[281]:
array([[False, True],
[ True, True],
[ True, True],
[ True, False]], dtype=bool)
要通过将无效的NaNs
设置为NaNs
来提取有效的,我们可以使用np.where
-
In [293]: df[cols] = np.where(out, df[cols], np.nan)
In [294]: df
Out[294]:
A B dA dB
0 NaN 3.0 0.310 0.080
1 2.0 -4.0 0.263 0.357
2 5.0 5.0 0.382 0.397
3 -4.0 NaN 0.330 0.115
此外,我们可以获得所有匹配的行以及每行的all()
减少 -
In [283]: np.flatnonzero(out.all(axis=1))
Out[283]: array([1, 2])
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.