R：计算 log(exp(…)) 的最大浮点误差

Question

我正在解决一些必须在标准空间和对数空间之间转换概率的编程问题。 为此，我试图找出R浮点误差的最大绝对误差，用于计算log(exp(...))其中输入是对数概率（即非正数）。

目前我已经使用网格搜索计算了答案（见下面的代码和图），但我不确定我计算的值是否正确。 （我检查了一些其他范围，但图中显示的范围似乎获得了最大绝对误差。）

#Set function for computing floating-point error of log(exp(...))
fp.error <- function(x) { abs(log(exp(x)) - x) }

#Compute and plot floating-point error over a grid of non-negative values
xx <- -(0:20000/10000)
ff <- fp.error(xx)
plot(xx, ff, col = '#0000FF10',
     main = 'Error in computation of log(exp(...))', 
     xlab = 'x', ylab = 'Floating-Point Error')

#Compute maximum floating-point error
fp.error.max <- max(ff)
fp.error.max
[1] 1.110223e-16

从这个分析中，我估计的最大绝对误差是.Machine$double.eps大小的一半（即2.220446e-16 ）。 我不确定这是否有理论上的原因，或者我是否得到了错误的答案。

问题：有什么方法可以确定这是否真的是此计算的最大浮点误差？ 是否有任何理论方法来计算最大值，或者这种网格搜索方法是否足够？

Answer 1

我想你得到了正确的答案。 在这里，我将步骤细化为sqrt(.Machine$double.eps) ，你会看到

> x <- seq(0, 2, by = sqrt(.Machine$double.eps))

> max(abs(log(exp(x)) - x))
[1] 1.110725e-16

然而，一旦你的x非常大，你就会有Inf错误，例如，

> (x <- .Machine$double.xmax)
[1] 1.797693e+308

> max(abs(log(exp(x)) - x))
[1] Inf

Answer 2

log(exp(x))的误差取决于x的值。 如果您使用浮点数，则x 也具有取决于其值的精度。 可以从C使用nextafter计算精度：

library(Rcpp)
cppFunction("double getPrec(double x) {
  return nextafter(x, std::numeric_limits<double>::infinity()) - x;}")

getPrec(2)
#[1] 4.440892e-16

getPrec(exp(2))
#[1] 8.881784e-16

或不使用Rcpp ：

getPrecR <- function(x) {
  y <- log2(pmax(.Machine$double.xmin, abs(x)))
  ifelse(x < 0 & floor(y) == y, 2^(y-1), 2^floor(y)) * .Machine$double.eps
}

也看看：检查差异是否小于机器精度的正确/标准方法是什么？ .

Answer 3

一般来说，我建议使用随机方法来生成更多x s，例如：

x <- runif(10000000, 0, 2)

您的定期间隔值可能碰巧偶然发现了一种“有效”的模式。

也取决于您是否关心绝对误差或相对误差。 绝对误差应该接近.Machine$double.xmax而相对误差随着x接近零而增加。 例如log(exp(1e-16))被截断为零。