朴素贝叶斯分类浮点下溢

Question

在朴素贝叶斯中乘以大量概率可能会导致浮点下溢。

P(x_1,….,x_n│c) = P(x_1│c).P(x_2│c).P(x_3│c)… … P(x_n |c) 

代替使用上面的公式（导致浮点下溢），使用下面给出的公式是否更可行/更好？ 还是会截断信息？

log(xy) = log(x) + log(y)

Answer 1

在发生下溢或上溢之前，浮点乘法是浮点运算的最佳表现。 此外，在您的公式中，一旦达到下溢，就知道最终值很小，因为未处理的因子小于1.0，并且只能使最终结果更小。

使用对数似乎只能降低整体一是因为对数本身第二，因为浮点加法不同幅度的数字是不是乖巧和准确性。

除非您出于某种无法说明问题的原因而担心2 ^-1024概率与零概率之间的差异，否则我不明白您为什么要将第一个公式中行为良好的乘法变为危险-在第二个中添加了多余的内容。

注意：您必须具有大约20个因子（每个因子为2 ^-50）才能使IEEE 754的binary64格式下溢。 如果这是您期望并希望准确处理的数据，则可以考虑使用80位双扩展格式（如果编译器使该类型可用）（例如，如果使用C，则为long double精度），或MPFR ，我相信使用完整的词来表示指数。

Answer 2

假设所有概率都在一个合理的范围内，例如[2 ^ {-63}，2 ^ {63}]，则可以像这样累积乘积：

double prod(double *d, int n, int64_t *expo) {
  *expo = 0;
  double ans = 1;
  for (int i = 0; i < n; i++) {
    ans *= d[i];
    if (!(i % 16)) {
      int foo = 0;
      ans = frexp(ans, &foo);
      expo += foo;
    }
  }
}

然后乘积在返回值乘以2 ^ { *expo }的n / 2 ulp之内。 这段代码很容易矢量化，并且为这种特殊情况编写替代的，更快的frexp也很容易，这种特殊情况只是进行位摆弄，而忽略了NaN / infinities / zeroes / subnormals。

如果您的平台支持陷阱浮点算法，并且您的输入已知在合理但未知的范围内，则可以通过添加用于上溢和下溢的陷阱处理程序，以自适应的方式选择步幅，对大n的性能影响最小。 如果同时使用平台的汇编语言编写产品例程和陷阱处理程序，则这样做可能最容易。

如果添加对数，则会损失相当多的精度，首先是取对数，其次是对它们求和，您可能会或可能不会在乎。 更糟糕的是，通过计算如此多的对数，您还会损失相当多的速度 。