按Pandas中值的百分比过滤列

Question

我想过滤掉熊猫中“很多”零值的列。 过滤包含“所有零值”的列并不困难，但是我要过滤的列是“许多零值”，例如，超过75％的列值。

数据集（A具有4个值的3个零，占列值的75％。）

A B C
0 0 0
0 0 1
0 1 2
1 2 3

结果

B C
0 0
0 1 
1 2
2 3

有什么建议吗？

Answer 1

您可以使用boolean mask mean ，其中True值将转换为1 ，然后将条件- >=为<以过滤所有mean小于0.75列：

print ((df == 0).mean())
a    0.75
b    0.50
c    0.25
dtype: float64

print ((df == 0).mean() < 0.75)
a    False
b     True
c     True
dtype: bool

df = df.loc[:, (df == 0).mean() < 0.75]
print (df)
   b  c
0  0  1
1  0  1
2  1  0
3  1  1

Answer 2

您可以使用列表理解， sum函数和drop即

df = pd.DataFrame({'a':[0,0,0,1],'b':[0,0,1,1],'c':[1,1,0,1]})
mask = [i for i,j in enumerate((df == 0).astype(int).sum(axis=0).values)  if (j/df.shape[0])>=0.75]
df = df.drop(df.columns[mask], axis=1)

您可以根据需要设置百分比。

输出：如果75个百分点，即(j/df.shape[0])>=0.75

b  c
0  0  1
1  0  1
2  1  0
3  1  1

输出：如果50％，即(j/df.shape[0])>=0.50

c
0  1
1  1
2  0
3  1