[英]How to replace the outliers with the 95th and 5th percentile in Python?
我正在尝试对我的时间序列数据进行异常值处理,我想用 95% 的值替换 > 95% 的值,用 5% 的值替换 < 5% 的值。 我已经准备了一些代码,但我无法找到想要的结果。
我正在尝试使用名为 Cut 的子函数创建一个 OutlierTreatment 函数。 代码如下
def outliertreatment(df,high_limit,low_limit):
df_temp=df['y'].apply(cut,high_limit,low_limit, extra_kw=1)
return df_temp
def cut(column,high_limit,low_limit):
conds = [column > np.percentile(column, high_limit),
column < np.percentile(column, low_limit)]
choices = [np.percentile(column, high_limit),
np.percentile(column, low_limit)]
return np.select(conds,choices,column)
我希望在 OutlierTreatment 函数中发送数据帧,95 作为 high_limit 和 5 作为 low_limit。 如何达到预期的效果?
如果您的数据包含多列
p_05 = df['sales'].quantile(0.05) # 5th quantile
p_95 = df['sales'].quantile(0.95) # 95th quantile
df['sales'].clip(p_05, p_95, inplace=True)
num_col = df.select_dtypes(include=['int64','float64']).columns.tolist()
# or you can create a custom list of numerical columns
df[num_col] = df[num_col].apply(lambda x: x.clip(*x.quantile([0.05, 0.95])))
奖金:
使用箱线图检查异常值
import matplotlib.pyplot as plt
for x in num_col:
df[num_col].boxplot(x)
plt.figure()
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.