Keras Tensorflow二元交叉熵损失大于1

Question

库：Keras，后端：Tensorflow

我正在训练单个类/二进制分类问题，其中我的最后一层具有单个节点，且激活了S形。 我正在用二进制交叉熵损失来编译我的模型。 当我运行代码来训练模型时，我注意到损失的值大于1。这是正确的，还是我在某个地方出错了？ 我检查了标签。 它们都是0和1。

二进制交叉熵损失是否可能大于1？

Answer 1

Keras binary_crossentropy首先将您的预测概率转换为对数。 然后，它使用tf.nn.sigmoid_cross_entropy_with_logits计算交叉熵，并将其平均值返回给您。 从数学上来说，如果标签为1并且预测概率较低（如0.1），则交叉熵可以大于1，如losses.binary_crossentropy(tf.constant([1.]), tf.constant([0.1])) 。

Answer 2

是的，它是正确的，交叉熵没有限制在任何特定范围内，只是正数（> 0）。