浮点加法：精度损失问题

Question

简而言之：如何执行a+b ，使截断的任何精度损失都远离零而不是零？

长篇故事

我正在计算一系列浮点值的总和，用于计算集合的样本均值和方差。 由于Var（X）= E（X ² ） - E（X） ² ，它足以保持所有数字的运行计数，到目前为止所有数字的总和，以及到目前为止所有数字的平方和。

到现在为止还挺好。

但是，绝对要求E（X ² ）> E（X） ² ，由于浮点精度并非总是如此。 在伪代码中，问题是：

int count;
double sum, sumOfSquares;
...
double value = <current-value>;
double sqrVal = value*value; 

count++;
sum += value; //slightly rounded down since value is truncated to fit into sum
sumOfSquares += sqrVal; //rounded down MORE since the order-of-magnitude 
//difference between sqrVal and sumOfSquares is twice that between value and sum;

对于变量序列，这不是一个大问题 - 你最终会略微低估方差，但这通常不是一个大问题。 然而，对于具有非零均值的常数或几乎常数集合，它可能意味着E（X ² ）<E（X） ² ，导致负计算方差，这违反了消费代码的期望。

现在，我知道Kahan Summation，这不是一个有吸引力的解决方案。 首先，它使代码容易优化变幻莫测（取决于优化参数，代码可能会或可能不会出现此问题），其次，这个问题是不是真的由于精度-这是不够好-这是因为除了引入系统错误朝零。 如果我可以执行该行

sumOfSquares += sqrVal;

以确保sqrVal向上舍入而不是向下舍入到sumOfSquares的精度的方式，我有一个数值上合理的解决方案。 但是我怎样才能做到这一点？

_{编辑： 完成的问题 - 为什么按下输入标签字段的下拉列表无论如何提交问题？}

Answer 1

IEEE提供四种舍入模式（朝向-inf，朝向+ inf，朝向0，色调）。 Toward + inf就是你想要的。 C90或C ++中没有标准控件。 C99添加了头文件<fenv.h> ，它也是某些C90和C ++实现中的扩展。 要尊重C99标准，你必须写下这样的东西：

#include <fenv.h>
#pragma STDC FENV_ACCESS ON

int old_round_mode = fegetround();
int set_round_ok = fesetround(FE_UPWARD);
assert(set_round_ok == 0);
...
int set_round_ok = fesetround(old_round_mode);
assert(set_round_ok == 0);

众所周知，您使用的算法在数值上不稳定并且存在精度问题。 精确度对数据进行两次传递更好。

Answer 2

还有另一种单程算法可以重新排列计算。 在伪代码中：

n = 0
mean = 0
M2 = 0

for x in data:
    n = n + 1
    delta = x - mean
    mean = mean + delta/n
    M2 = M2 + delta*(x - mean)  # This expression uses the new value of mean

variance_n = M2/n         # Sample variance
variance = M2/(n - 1)     # Unbiased estimate of population variance

（来源： http ： //en.wikipedia.org/wiki/Algorithms_for_calculating_variance ）

对于您使用通常算法指出的问题，这似乎表现得更好。

Answer 3

如果您不担心精度，但只是负差异，为什么不简单地做V(x) = Max(0, E(X^2) - E(X)^2)