tf.nn.sparse_softmax_cross_entropy_with_logits的意外輸出

Question

tf.nn.sparse_softmax_cross_entropy_with_logits的TensorFlow文檔明確聲明我不應該將softmax應用於此操作的輸入：

該操作期望未縮放的logit，因為它在內部對logit執行softmax以提高效率。 不要使用softmax的輸出來調用該操作，因為它將產生錯誤的結果。

但是，如果我使用不帶softmax的交叉熵，則會給我帶來意想不到的結果。 根據CS231n課程 ，CIFAR-10的預期損失值約為2.3：

例如，對於具有Softmax分類器的CIFAR-10，我們預計初始損失為2.302，因為我們期望每個類別的彌散概率為0.1（因為有10個類別），而Softmax損失是該類別的負對數概率正確的類，這樣：-ln（0.1）= 2.302。

但是，如果沒有softmax，我會得到更大的值，例如108.91984。

sparse_softmax_cross_entropy_with_logits我到底在做什么錯？ TF代碼如下所示。

import tensorflow as tf
import numpy as np
from tensorflow.python import keras


(_, _), (x_test, y_test) = keras.datasets.cifar10.load_data()
x_test = np.reshape(x_test, [-1, 32, 32, 3])

y_test = np.reshape(y_test, (10000,))
y_test = y_test.astype(np.int32)

x = tf.placeholder(dtype=tf.float32, shape=(None, 32, 32, 3))
y = tf.placeholder(dtype=tf.int32, shape=(None,))

layer = tf.layers.Conv2D(filters=16, kernel_size=3)(x)
layer = tf.nn.relu(layer)
layer = tf.layers.Flatten()(layer)
layer = tf.layers.Dense(units=1000)(layer)
layer = tf.nn.relu(layer)
logits = tf.layers.Dense(units=10)(layer)

# If this line is uncommented I get expected value around 2.3
# logits = tf.nn.softmax(logits)

loss = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y,
                                                      logits=logits)
loss = tf.reduce_mean(loss, name='cross_entropy')

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    res = sess.run(loss, feed_dict={x: x_test[0:256], y: y_test[0:256]})
    print("loss: ", res)
    # Expected output is value close to 2.3
    # Real outputs are 108.91984, 72.82324, etc.

Answer 1

問題不在線上

# If this line is uncommented I get expected value around 2.3
# logits = tf.nn.softmax(logits)

cifar10數據集中的圖像為RGB，因此像素值在[0，256）范圍內。 如果將x_test除以255

x_test = np.reshape(x_test, [-1, 32, 32, 3]).astype(np.float32) / 255

值將重新縮放為[0,1]， tf.nn.sparse_softmax_cross_entropy_with_logits將返回預期值