語言模型的困惑度如何在0和1之間？

Question

在Tensorflow中，我得到的輸出為0.602129或0.663941。 似乎值越接近0意味着模型越好，但是似乎困惑應該被計算為2 ^損失，這意味着損失為負。 這沒有任何意義。

Answer 1

這對我來說沒有多大意義。 困惑度被計算為2^entropy 。 熵從0到1。因此，小於1的結果沒有意義。

我建議您看一下您的模型如何計算困惑度，因為我懷疑可能存在錯誤。