R中的KL距离

Question

我想用R计算两个伽玛分布的KL距离。

这是我的R代码：

theta1 <- 0.2
theta2 <- 2

f <- function(u)
{
     dgamma(u, shape=1/theta1, scale=theta1) * 
      (dgamma(u, shape=1/theta1, scale=theta1, log=TRUE) -
       dgamma(u, shape=1/theta2, scale=theta2, log=TRUE)) 
}

f <- Vectorize(f)
integrate(f, lower=0, upper=Inf)

你对我的R代码有什么评论吗？ 你认为这是计算KL距离的好方法吗？

任何建议将不胜感激，

谢谢，马可

Answer 1

我将定义函数中使用的所有参数。 我的意思是：

my.theta1 <- 0.2
my.theta2 <- 2

f <- function(u, theta1, theta2)
{
     dgamma(u, shape=1/theta1, scale=theta1) * 
      (dgamma(u, shape=1/theta1, scale=theta1, log=TRUE) -
       dgamma(u, shape=1/theta2, scale=theta2, log=TRUE)) 
}


f <- Vectorize(f)
integrate(f, lower=0, upper=Inf, theta1 = my.theta1, theta2 = my.theta2)

更明确地防止“事故”，因为你的函数在更高（全局）的环境中搜索theta1和theta2 （如果你将这个函数深埋在程序中，这可能会变得混乱）。

Answer 2

在这里查看显式公式：

http://en.wikipedia.org/wiki/Gamma_distribution#Kullback.E2.80.93Leibler_divergence