R中的KL距離

Question

我想用R計算兩個伽瑪分布的KL距離。

這是我的R代碼：

theta1 <- 0.2
theta2 <- 2

f <- function(u)
{
     dgamma(u, shape=1/theta1, scale=theta1) * 
      (dgamma(u, shape=1/theta1, scale=theta1, log=TRUE) -
       dgamma(u, shape=1/theta2, scale=theta2, log=TRUE)) 
}

f <- Vectorize(f)
integrate(f, lower=0, upper=Inf)

你對我的R代碼有什么評論嗎？ 你認為這是計算KL距離的好方法嗎？

任何建議將不勝感激，

謝謝，馬可

Answer 1

我將定義函數中使用的所有參數。 我的意思是：

my.theta1 <- 0.2
my.theta2 <- 2

f <- function(u, theta1, theta2)
{
     dgamma(u, shape=1/theta1, scale=theta1) * 
      (dgamma(u, shape=1/theta1, scale=theta1, log=TRUE) -
       dgamma(u, shape=1/theta2, scale=theta2, log=TRUE)) 
}


f <- Vectorize(f)
integrate(f, lower=0, upper=Inf, theta1 = my.theta1, theta2 = my.theta2)

更明確地防止“事故”，因為你的函數在更高（全局）的環境中搜索theta1和theta2 （如果你將這個函數深埋在程序中，這可能會變得混亂）。

Answer 2

在這里查看顯式公式：

http://en.wikipedia.org/wiki/Gamma_distribution#Kullback.E2.80.93Leibler_divergence