检测 DataFrame 列中的离群值，pandas 中的值变化很小

Question

我正在处理一个列，该列的值应该在行之间有小的变化。 这些值是物理测量值，由于环境因素，测量值可能不正确，连续样本之间的增量非常高。 变化率是一个被视为问题输入的数量，因为它可以改变以适应这种异常值检测的精度需求。

检测方法可以计算到目前为止看到的值的平均值并将离群值标记为高于给定变化率的值，或者检查行之间的值变化并标记距离大于速率的索引值变化和索引值，其中值返回低于可接受的变化率，相对于标记为异常值之前的第一个值。 第一种方法可能更难，因为应该根据正确的值计算均值，即标记为异常值的值不应考虑在均值计算中。

正确的解决方案应该返回指示异常值的索引列表，然后将其用于将相应的值设置为 fe NaN或使用插值方法来填充这些值。

例子

df = pd.DataFrame({'small_changing': [5.14, 5.18, 5.22, 5.18, 5.20, 5.17, 5.25, 5.55, 5.62, 5.78, 6.21, 6.13, 5.71, 5.35, 5.29, 5.24, 5.16, 5.18, 5.20, 5.15, 5.17, 5.00, 4.96, 4.88, 4.71, 4.65, 4.73, 4.79, 4.89, 4.92, 5.05, 5.11, 5.14, 5.17, 5.22, 5.24, 5.18, 5.20]})

假设变化率为0.15 ，假设采用第二种检测方法，其中考虑了行之间的差异，则有两个异常值组要检测。

第一组对应索引值[7, 12] ，因为第6行和第7行之间的差值为0.3 ，高于0.15限制，而第6行和第13行之间的差值为0.1 ，第13行是差异在0.15范围内的第一行。

第二组对应索引值[21, 29] ，因为第20行和第21行之间的差值为0.17 ，高于0.15限制，而第20行和第30行之间的差值为0.12 ，第30行是差异在0.15范围内的第一行。

本例的结果： [7, 8, 9, 10, 11, 12, 21, 22, 23, 24, 25, 26, 27, 28, 29]

Answer 1

我希望它会有所帮助。

我认为它不是 pythonic，但它有效：

def outlier_detection(points, limit):
    outliers_index = list()
    k=0
    for i in range(0,len(points)-1):
        if abs(points[i-k] - points[i+1]) >= limit:
            k+=1
            outliers_index.append(i+1)
        else:
            k=0
    return outliers_index

outlier_detection(df['small_changing'].values, 0.15)

OUT: [7, 8, 9, 10, 11, 12, 21, 22, 23, 24, 25, 26, 27, 28, 29]

Answer 2

这可能会节省大数据集上稀疏分布的异常值的时间 -

def df_outlier(df, threshold=0.15):
    column = df.columns[0]
    df["outlier"] = False
    df_difference = df.copy()
    df_difference["difference"] = abs(df[column] - df[column].shift(1)).shift(-1)
    df_difference = df_difference.loc[df_difference["difference"] > threshold]
    for index in df_difference.index:
        row = df.loc[index]
        if not row["outlier"]:
            df_check = df[index+1:].copy()
            df_check["a_difference"] = abs(df_check[column] - row[column])
            df_check.loc[df_check["a_difference"] > threshold, "outlier"] = True
            df.loc[((df.index >= df_check.index[0]) & (df.index < df_check["outlier"].ne(True).idxmax())), "outlier"] = True

    return list(df.loc[df["outlier"] == True].index)

我正在使用这个。