ANN 線性回歸的評估 Model

Question

我用 Keras 制作了我的第一個 ANN。 這是一個線性回歸 Model，具有 5 個特征和 1 個 output。 我用“MSE”和“損失函數”制作了一個 plot，這些就是結果。 我們可以說它是一個好的 model 嗎？ 此外，R^2 = 0.91。 這是正確的方法嗎？

classifier = Sequential()

classifier.add(Dense(5, input_dim=5,kernel_initializer='normal',activation='relu'))

classifier.add(Dense(5, activation='relu'))

classifier.add(Dense(1,activation='linear'))


classifier.compile(loss='mse', optimizer='adam', metrics=['mse','mae'])

history = classifier.fit(X_train, y_train, batch_size=10, validation_data=(X_test, y_test), epochs=200, verbose=0)

y_pred=classifier.predict(X_test)

train_mse=classifier.evaluate(X_train, y_train, verbose=0)

plt.title('Loss / Mean Squared Error')
plt.plot(history.history['loss'], label='train')
plt.plot(history.history['val_loss'], label='test')
plt.legend()
plt.show()

Answer 1

除了一些術語細節（NN 回歸不是線性回歸，通常我們不稱這樣的 model 為classifier ）之外，您的 model 看起來確實不錯，兩個錯誤（訓練和測試）都可以順利減少並且沒有過度擬合的跡象。

盡管 0.91 的 R^2 值聽起來不錯，但在預測設置中使用該指標，就像這里一樣，是有問題的； 在另一個 SO 線程中引用我自己的答案：

整個 R 平方的概念實際上直接來自統計世界，重點是解釋模型，在機器學習環境中幾乎沒有用處，重點顯然是預測模型； 至少 AFAIK，除了一些非常入門的課程之外，我從未（我的意思是從未......）見過預測建模問題，其中 R 平方用於任何類型的績效評估； 流行的機器學習介紹，例如 Andrew Ng 在 Coursera 的機器學習，甚至懶得提及它也不是偶然的。 並且，如上面的Github 線程中所述（強調添加）：

特別是在使用測試集時，我有點不清楚 R^2 的含義。

我當然同意。