[英]Counting the number of non-NaN elements in a numpy ndarray in Python
我需要計算 numpy ndarray 矩陣中非 NaN 元素的數量。 如何在 Python 中有效地做到這一點? 這是我實現此目的的簡單代碼:
import numpy as np
def numberOfNonNans(data):
count = 0
for i in data:
if not np.isnan(i):
count += 1
return count
numpy 中是否有內置函數? 效率很重要,因為我正在做大數據分析。
感謝您的幫助!
np.count_nonzero(~np.isnan(data))
~
反轉從np.isnan
返回的布爾矩陣。
np.count_nonzero
計算非 0\false 的值。 .sum
應該給出相同的結果。 但也許更清楚地使用count_nonzero
測試速度:
In [23]: data = np.random.random((10000,10000))
In [24]: data[[np.random.random_integers(0,10000, 100)],:][:, [np.random.random_integers(0,99, 100)]] = np.nan
In [25]: %timeit data.size - np.count_nonzero(np.isnan(data))
1 loops, best of 3: 309 ms per loop
In [26]: %timeit np.count_nonzero(~np.isnan(data))
1 loops, best of 3: 345 ms per loop
In [27]: %timeit data.size - np.isnan(data).sum()
1 loops, best of 3: 339 ms per loop
data.size - np.count_nonzero(np.isnan(data))
似乎幾乎不是這里最快的。 其他數據可能會給出不同的相對速度結果。
即使不是最快的選擇,如果性能不是問題,您可以使用:
sum(~np.isnan(data))
。
In [7]: %timeit data.size - np.count_nonzero(np.isnan(data))
10 loops, best of 3: 67.5 ms per loop
In [8]: %timeit sum(~np.isnan(data))
10 loops, best of 3: 154 ms per loop
In [9]: %timeit np.sum(~np.isnan(data))
10 loops, best of 3: 140 ms per loop
要確定數組是否稀疏,可能有助於獲取一定比例的 nan 值
np.isnan(ndarr).sum() / ndarr.size
如果該比例超過閾值,則使用稀疏數組,例如 - https://sparse.pydata.org/en/latest/
另一種選擇,但有點慢的選擇是通過索引來完成。
np.isnan(data)[np.isnan(data) == False].size
In [30]: %timeit np.isnan(data)[np.isnan(data) == False].size
1 loops, best of 3: 498 ms per loop
np.isnan(data)
和==
運算符的雙重使用可能有點矯枉過正,所以我發布答案只是為了完整性。
len([i for i in data if np.isnan(i) == True])
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.