如何用不在熊貓系列中先前值某個范圍內的NAN替換任何值？

Question

我有一個熊貓系列，我想找出一個值是否在先前值的某個范圍內（例如高於或低於10％），如果不是，則將其替換為NAN。 我不確定如何進行。 標准離群值消除技術主要處理整體標准差等。

如何在每個步驟中訪問先前的值並對其進行操作？

2018-09-06        NaN
2018-09-07        NaN
2018-09-08        NaN
2018-09-09    662.105
2018-09-10    651.010
2018-09-11    454.870
2018-09-12    597.840
2018-09-13    662.405
2018-09-14    660.735
2018-09-15    671.065
2018-09-16    668.485
2018-09-17    666.205
2018-09-18    663.620
2018-09-19    663.320
2018-09-20    662.715
2018-09-21    665.145
2018-09-22    663.015
2018-09-23    663.775
2018-09-24    662.860
2018-09-25    663.315
2018-09-26    665.600
2018-09-27    664.080
2018-09-28    661.800
2018-09-29    659.825
2018-09-30    659.370
2018-10-01        NaN
2018-10-02        NaN
2018-10-03        NaN
2018-10-04        NaN

Answer 1

您可以將pct_change用作注釋中提到的@ALollz。 使用Series.loc將不滿足條件的值設置為False。

ts.loc[ts.pct_change().abs() > 0.1] = np.nan

2018-09-06        NaN
2018-09-07        NaN
2018-09-08        NaN
2018-09-09    662.105
2018-09-10    651.010
2018-09-11        NaN
2018-09-12        NaN
2018-09-13        NaN
2018-09-14    660.735
2018-09-15    671.065
2018-09-16    668.485
2018-09-17    666.205
2018-09-18    663.620
2018-09-19    663.320
2018-09-20    662.715
2018-09-21    665.145
2018-09-22    663.015
2018-09-23    663.775
2018-09-24    662.860
2018-09-25    663.315
2018-09-26    665.600
2018-09-27    664.080
2018-09-28    661.800
2018-09-29    659.825
2018-09-30    659.370
2018-10-01        NaN
2018-10-02        NaN
2018-10-03        NaN
2018-10-04        NaN

Answer 2

您可以使用shift方法創建一個新列以獲取以前的值。

df["previous_value"] = df["required_column"].shift(-1)

然后可以使用

df["percent_change"] = (df["previous_value"]-df["required_column"])/df["previous_value"]

您現在可以根據您對百分比變化的要求進行過濾

Answer 3

因為您需要狀態（前一行的值很重要），所以您不能只使用apply或numpy操作，而是需要遍歷各行。 這是可以執行的操作，每次找到異常值時，它將其設置為Nan，然后遞歸重新啟動自身，以使異常值不會影響以下值。 為此，系列索引必須唯一。

def remove_outliers(s, i=0):
    tmp = s.dropna()
    tmp = tmp[i:]
    for i, v in enumerate(tmp.iteritems()):
        if i-1 > 0:
            #replace with custom condition, tmp.iloc[i-1] is the previous value
            if not (0.9< v[1]/tmp.iloc[i-1] <1.1):
                s.loc[v[0]] = None
                remove_outliers(s,i)
                break

s =pd.Series([55,51,52,53,54,None,None,600,49,48,50,51,7,None,None,52,None])
remove_outliers(s)