当我们使用实值训练目标时，为什么使用二进制交叉熵损失函数进行的神经网络训练会停滞不前？

Question

假设我们有一个二进制分类问题，其中训练目标不在{0,1}中，而在[0,1]中。 我们使用以下代码在Keras中训练一个简单的分类器：

model = Sequential()
model.add(Dense(100, input_shape=(X.shape[1],), activation='relu'))
model.add(Dense(1, activation='sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='rmsprop')
model.fit(X,y)

如果我们通过实际的训练目标（在[0,1]中），则训练几乎不会继续进行，陷入其初始损失值附近； 但是，如果我们量化{0,1}中的目标，则效果会更好，可以迅速减少训练损失。

这是正常现象吗？ 是什么原因

编辑： 这是可重复的实验。 这是获得的图：

Answer 1

您声明要解决二进制分类任务，目标应为二进制值，即{0,1}。

但是，如果您的目标是[0,1]中的某个浮点值，则实际上是在尝试执行回归 。

除其他外，这改变了对损失功能的要求。 看到Tensorflow交叉熵进行回归？ ，其中更详细地讨论了交叉熵损失用于回归的用法。