如何在python中提取95％的數據

Question

給定一個數字數組，我想刪除異常值，同時保留95％的數據點總數。 例如range（0,100,1）將成為range（2,98,1）。

例如，如果數據類似於

[0.01,0.02,4,5,7,3,1,4,6,7,10000,10002] -> [4,5,7,3,1,4,6,7]

Python標准庫或Numpy中是否有用於此目的的函數？

Answer 1

聽起來您有興趣篩選出在中位數絕對偏差 （MAD）的95％以內的數據。

此數據集的MAD為2.5（而std偏差> 3000）。 我們可以使用它來過濾相距2個中間偏差以上的點（收集約95％）

import numpy as np

data = np.array([0.01,0.02,4,5,7,3,1,4,6,7,10000,10002])
deviations = 2

d = np.abs(data - np.median(data))
med_abs_dev = np.median(d)
s = d / med_abs_dev
filtered = data[s < deviations]
# [ 0.01  0.02  4.    5.    7.    3.    1.    4.    6.    7.  ]