在 Pandas 數據框中刪除全為零的行

Question

我可以使用pandas dropna()功能刪除部分或所有列設置為NA的行。 是否有等效的函數來刪除所有列都為 0 的行？

P   kt  b   tt  mky depth
1   0   0   0   0   0
2   0   0   0   0   0
3   0   0   0   0   0
4   0   0   0   0   0
5   1.1 3   4.5 2.3 9.0

在這個例子中，我們想從數據框中刪除前 4 行。

謝謝！

Answer 1

單行。 無需轉置：

df.loc[~(df==0).all(axis=1)]

對於那些喜歡對稱的人來說，這也有效......

df.loc[(df!=0).any(axis=1)]

Answer 2

事實證明，這可以用矢量化的方式很好地表達：

> df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})
> df = df[(df.T != 0).any()]
> df
   a  b
1  0  1
2  1  0
3  1  1

Answer 3

我大約每個月查一次這個問題，總是要從評論中找出最佳答案：

df.loc[(df!=0).any(1)]

謝謝丹艾倫！

Answer 4

我認為這個解決方案是最短的：

df= df[df['ColName'] != 0]

Answer 5

用nan替換零，然后刪除所有條目為nan的行。 之后用零替換nan 。

import numpy as np
df = df.replace(0, np.nan)
df = df.dropna(how='all', axis=0)
df = df.replace(np.nan, 0)

Answer 6

我發現在查找此問題時有幫助的幾個解決方案，尤其是對於較大的數據集：

df[(df.sum(axis=1) != 0)]       # 30% faster 
df[df.values.sum(axis=1) != 0]  # 3X faster 

繼續@U2EF1 的例子：

In [88]: df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})

In [91]: %timeit df[(df.T != 0).any()]
1000 loops, best of 3: 686 µs per loop

In [92]: df[(df.sum(axis=1) != 0)]
Out[92]: 
   a  b
1  0  1
2  1  0
3  1  1

In [95]: %timeit df[(df.sum(axis=1) != 0)]
1000 loops, best of 3: 495 µs per loop

In [96]: %timeit df[df.values.sum(axis=1) != 0]
1000 loops, best of 3: 217 µs per loop

在更大的數據集上：

In [119]: bdf = pd.DataFrame(np.random.randint(0,2,size=(10000,4)))

In [120]: %timeit bdf[(bdf.T != 0).any()]
1000 loops, best of 3: 1.63 ms per loop

In [121]: %timeit bdf[(bdf.sum(axis=1) != 0)]
1000 loops, best of 3: 1.09 ms per loop

In [122]: %timeit bdf[bdf.values.sum(axis=1) != 0]
1000 loops, best of 3: 517 µs per loop

Answer 7

import pandas as pd

df = pd.DataFrame({'a' : [0,0,1], 'b' : [0,0,-1]})

temp = df.abs().sum(axis=1) == 0      
df = df.drop(temp)

結果：

>>> df
   a  b
2  1 -1

Answer 8

您可以使用快速lambda函數來檢查給定行中的所有值是否都是0 。 然后，您可以使用應用該lambda的結果作為僅選擇匹配或不匹配該條件的行的一種方式：

import pandas as pd
import numpy as np

np.random.seed(0)

df = pd.DataFrame(np.random.randn(5,3), 
                  index=['one', 'two', 'three', 'four', 'five'],
                  columns=list('abc'))

df.loc[['one', 'three']] = 0

print df
print df.loc[~df.apply(lambda row: (row==0).all(), axis=1)]

產量：

              a         b         c
one    0.000000  0.000000  0.000000
two    2.240893  1.867558 -0.977278
three  0.000000  0.000000  0.000000
four   0.410599  0.144044  1.454274
five   0.761038  0.121675  0.443863

[5 rows x 3 columns]
             a         b         c
two   2.240893  1.867558 -0.977278
four  0.410599  0.144044  1.454274
five  0.761038  0.121675  0.443863

[3 rows x 3 columns]

Answer 9

另一種選擇：

# Is there anything in this row non-zero?
# df != 0 --> which entries are non-zero? T/F
# (df != 0).any(axis=1) --> are there 'any' entries non-zero row-wise? T/F of rows that return true to this statement.
# df.loc[all_zero_mask,:] --> mask your rows to only show the rows which contained a non-zero entry.
# df.shape to confirm a subset.

all_zero_mask=(df != 0).any(axis=1) # Is there anything in this row non-zero?
df.loc[all_zero_mask,:].shape

Answer 10

這對我new_df = df[df.loc[:]!=0].dropna()

Answer 11

對我來說這個代碼： df.loc[(df!=0).any(axis=0)]不起作用。 它返回了確切的數據集。

相反，我使用了df.loc[:, (df!=0).any(axis=0)]並刪除了數據集中所有值為 0 的列

函數.all()刪除了我的數據集中所有零值的列。

Answer 12

按照已接受的答案中的示例，一個更優雅的解決方案：

df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})
df = df[df.any(axis=1)]
print(df)

   a  b
1  0  1
2  1  0
3  1  1

Answer 13

df = df [~( df [ ['kt'  'b'   'tt'  'mky' 'depth', ] ] == 0).all(axis=1) ]

試試這個命令它完美的工作。

Answer 14

要刪除任何行中值為 0 的所有列：

new_df = df[df.loc[:]!=0].dropna()