每个时期的输出平均损失：奇怪的结果

Question

我使用 Tensorflow 为 MNIST 数据集实现了一个简单的模型。

这是模型：

X = tf.placeholder(tf.float32, [None, 784])
Y_ = tf.placeholder(tf.float32, [None, 10])

W = tf.Variable(tf.random_normal(shape=[784, 10], stddev=0.01), name="Weigths")
b = tf.Variable(tf.zeros([1,10]), name="Bias")

Y = tf.nn.softmax(tf.add(tf.matmul(X,W), b))

这是成本函数的样子：

entropy = tf.nn.softmax_cross_entropy_with_logits(labels=Y_, logits=Y)
loss = tf.reduce_mean(entropy)

反向传播：

optimizer = tf.train.AdamOptimizer(learning_rate).minimize(loss)

这是我的火车循环：

for epoch in range(n_epochs):
    avg_loss = 0;
    n_batches = int(MNIST.train.num_examples/batch_size) 
    for i in range(n_batches):
        X_batch, Y_batch = MNIST.train.next_batch(batch_size)
        _, l, summary = sess.run([optimizer, loss, merged_summary], feed_dict={X: X_batch, Y_: Y_batch})
        writer.add_summary(summary, pos)
        avg_loss = l / n_batches
    print('Epoch :', epoch, 'AvgLoss =', avg_loss)
print ("Accuracy:", acc.eval(feed_dict={X: MNIST.test.images, Y_: MNIST.test.labels}))

但我不明白我在每个时期的平均成本的结果：

Epoch : 0 AvgLoss = 0.0028913601962
Epoch : 1 AvgLoss = 0.00283967841755
Epoch : 2 AvgLoss = 0.0028030406345
Epoch : 3 AvgLoss = 0.002759949294
Epoch : 4 AvgLoss = 0.00283429449255
Epoch : 5 AvgLoss = 0.00276749762622
Epoch : 6 AvgLoss = 0.00276815457778
Epoch : 7 AvgLoss = 0.00279549772089
Epoch : 8 AvgLoss = 0.00277937347239
Epoch : 9 AvgLoss = 0.00274000016126
Epoch : 10 AvgLoss = 0.00275734966451
Epoch : 11 AvgLoss = 0.00278236475858
Epoch : 12 AvgLoss = 0.00275594126094
Epoch : 13 AvgLoss = 0.0027651628581
Epoch : 14 AvgLoss = 0.00275661511855
Epoch : 15 AvgLoss = 0.00275890090249
Epoch : 16 AvgLoss = 0.00273716428063
Epoch : 17 AvgLoss = 0.00273372628472
Epoch : 18 AvgLoss = 0.0027502430569
Epoch : 19 AvgLoss = 0.00279064221816
Epoch : 20 AvgLoss = 0.00273178425702
Epoch : 21 AvgLoss = 0.00277335535396
Epoch : 22 AvgLoss = 0.00276518474926
Epoch : 23 AvgLoss = 0.00276605887847
Epoch : 24 AvgLoss = 0.00275481895967

它并没有减少每个循环......但它给了我一个确定的准确性：

Accuracy: 0.9295

关于为什么会这样的任何想法？

Answer 1

损失：查看损失减少 - 每次迭代（每个批次）或每 100 次迭代而不是每个时期打印损失。 通常，它在几个时期内达到最小值。

准确性：

使用两层全连接 NN 或 CNN 以获得更好的准确性。 您可以添加 ReLU 层和 Dropout 以获得更好的性能。

2 层全连接神经网络：96-98% 准确率； ConvNet：99% 的准确率。

查看统计数据：http: //yann.lecun.com/exdb/mnist/

另外，也试试他的 CNN 代码： https : //github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3_NeuralNetworks/convolutional_network.py

Answer 2

在 TensorFlow 2.0 中，现在很容易

History = model.fit(trainX,trainY,validation_data = (testX,testY),batch_size= 100, epochs = epochs,verbose = 1)

train_loss = History.history['loss']
val_loss   = History.history['val_loss']
acc = History.history['accuracy']
val_acc = History.history['val_accuracy']

当您拟合模型时，将其存储在变量中。 如上所示，您可以获得每个时期的损失和准确性以及验证损失和准确性。

您可以相应地绘制图形

损失

plt.plot(History.history['loss'])
plt.plot(History.history['val_loss'])
plt.title('Model Loss')
plt.ylabel('Loss')
plt.xlabel('Epochs')
plt.legend(['Train', 'Test'])
plt.show()

准确性

plt.plot(History.history['accuracy'])
plt.plot(History.history['val_accuracy'])
plt.title('Model Accuracy')
plt.ylabel('Accuracy')
plt.xlabel('Epochs')
plt.legend(['Train', 'Test'])
plt.show()