查找数据框中的异常或偏差。 通过绘图比较平均值和标准偏差

Question

我已经通过爬网收集了数据并收集了脚本散列和深度。 我已将数据转换为熊猫数据框。

目标作为我研究的一部分，我想做一些统计测量，以了解深度在每组哈希中的表现。

2）我已经使用std（）函数计算了深度的组标准偏差。 但是不确定如何将其与散列组的标准偏差进行比较。

3）还计算每组哈希的平均值。 想知道如何有一个单独的列来显示组均值和实际值之间的差异..想知道如何绘制这两个列（新列和绘图也适用于问题2）。

如果有任何新颖的方法来识别离群值或偏差，也想知道它们。

数据：

       FileHash      Depth
0         A            1
1         A            2
2         C            1
3         B            1
4         C            3
5         A            5
6         C            2
7         A            0

我试图找到最好的拟合分布钳工，并发现gennorm是最好的。

我还尝试过使用修改后的z分数查找离群值。

对于问题3，我期望这样的输出：

     FileHash      Depth  MeanDeviation
0      A             1       -1
1      A             2        0
2      C             1       -1
3      B             1        0
4      C             3        1
5      A             5        3
6      C             2        0
7      A             0       -2

Answer 1

以下各项是否可以满足您的需求？

import matplotlib as plt
import pandas as pd
import numpy as np
# your data 
df = pd.DataFrame({'FileHash': ['A', 'A', 'C', 'B', 'C', 'A', 'C', 'A'], 'Depth': [1,2,1,1,3,5,2,0]})


mean_dev = df.Depth - df.groupby('FileHash').Depth.transform('mean')
df.assign(MeanDeviation=mean_dev)

输出

   FileHash       Depth    MeanDeviation
0      A             1       -1
1      A             2        0
2      C             1       -1
3      B             1        0
4      C             3        1
5      A             5        3
6      C             2        0
7      A             0       -2

和

df.plot(use_index=False, y=['Depth','MeanDeviation'])

绘制深度和MeanDeviation的比较。

注意：我不确定您的意思是

不知道如何将其与哈希组的标准偏差进行比较

因为单个观测值不能具有标准偏差。 标准差只是一组值的度量。