通过在日志空间中工作避免下溢，您如何评估总和？

Question

我正在使用线性插值，我必须计算：
p' = \\lambda_1*p_1 + \\lambda_2*p_2 + \\lambda_3*p_3 。

但是，p_1，p_2和p_3是联合概率，因此由于下溢而不能表示为浮点数。 所以我在日志空间中工作，取log2(p_1) ， log2(p_2)和log2(p_3) 。

给定概率的日志，我不太确定如何计算p'或log2(p') 。 如有必要，我还可以计算log2(p_1* \\lambda_1)等。

Answer 1

通常的方法是找到最大的项，并计算总和作为校正的次数。 更详细

q[i] = log( lambda[i]) + log( p[i])) i = 1..
we want Q = log( exp( q[1]) + exp(q[2]) + .. )
let the largest q[i] be q[j], then we get 
Q = log( ( exp( q[1]-q[j]) + exp( q[1]-q[j]) + ..) * exp(q[j]))
  = q[j] + log( exp( q[1]-q[j]) + exp( q[1]-q[j]) + ..)

在评估第二项时，所有q [i] -q [j]都是负的，因此不会发生溢出。 如果有任何负面因素导致下溢，则忽略它，因为其中一个术语（exp（q [j] -q [j]））将为1。