语言模型的困惑度如何在0和1之间？

Question

在Tensorflow中，我得到的输出为0.602129或0.663941。 似乎值越接近0意味着模型越好，但是似乎困惑应该被计算为2 ^损失，这意味着损失为负。 这没有任何意义。

Answer 1

这对我来说没有多大意义。 困惑度被计算为2^entropy 。 熵从0到1。因此，小于1的结果没有意义。

我建议您看一下您的模型如何计算困惑度，因为我怀疑可能存在错误。