用于从数据子集计算平均值和方差的在线算法

Question

我把它作为在线计算变量和平均值的参考，用于可变长度数据： http ： //www.johndcook.com/standard_deviation.html 。

数据是16位无符号值的集合，可以有任意数量的样本（实际上，最小值约为20个样本，最大值约为2e32个样本。

由于数据集可能太大而无法存储，我已经使用C中的上述在线算法实现了这一点并验证了它的正确计算。

麻烦从应用程序的以下要求开始：除了计算整个集合的方差和均值之外，我还需要计算由中间50％的值组成的总体的分离结果（均值和方差），即无视前25％和后25％的样本。 事先不知道样本数量，因此我必须在线计算其他集合。

我理解我可以通过单独计算它来添加和减去子集，并使用类似于此处描述的运算符+实现的内容： http ： //www.johndcook.com/skewness_kurtosis.html （减去偏度和峰度细节，我为此没用）。 减法可以从中得出。

问题是：我如何维护这些子集？ 或者我应该尝试另一种技术？

Answer 1

如果空间有问题，并且您乐意接受近似值，我将从以下论文中的算法开始：

M Greenwald，S Khanna， 空间高效的分位数汇总在线计算

您可以使用该算法计算到目前为止所观察到的第25和第75百分位数的运行估计值。 然后，您可以将介于两个百分位数之间的观察结果输入到John D Cook的文章中所涵盖的Welford算法中，以计算运行均值和方差。