Keras：val_loss 和 val_accuracy 沒有改變

Question

我正在嘗試構建一個 LSTM model 來預測第二天股票是上漲還是下跌。 如您所見，一個簡單的分類任務讓我困了幾天。 我選擇 3 個功能僅用於輸入我的網絡，下面我將展示我的預處理：

# pre-processing, last column has values of either 1 or zero
len(df.columns) # 32 columns
index_ = len(df.columns) - 1
x = df.iloc[:,:index_]
y = df.iloc[:,index_:].values.astype(int)

刪除任何 nan 值：

def clean_dataset(df):
    assert isinstance(df, pd.DataFrame), "df needs to be a pd.DataFrame"
    df.dropna(inplace=True)
    indices_to_keep = ~df.isin([np.nan, np.inf, -np.inf, 'NaN', 'nan']).any(1)
    return df[indices_to_keep].astype(np.float64)

df = clean_dataset(df)

然后我選取 3 個選定的特征並顯示X和Y的形狀

selected_features = ['feature1', 'feature2', 'feature3']
x = x[selected_features].values.astype(float)
# s.shape (44930, 3)
# y.shape (44930, 1)

然后我將我的數據集分成 80/20

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.20, random_state=98 )

在這里，我正在重塑我的數據

x_train = x_train.reshape(x_train.shape[0], x_train.shape[1], 1) 
x_test = x_test.reshape(x_test.shape[0], x_test.shape[1], 1) 
y_train = y_train.reshape(-1, 1)
y_test = y_test.reshape(-1, 1)

這是每一個的新形狀：

x_train.shape = (35944, 3, 1)
x_test.shape = (8986, 3, 1)
y_train.shape = (35944, 1)
y_test.shape = (8986, 1)

x_train集合的第一個樣本 重塑之前

x_train[0] => array([8.05977145e-01, 4.92200000e+01, 1.23157152e+08])

x_train集合的第一個樣本 重塑后

x_train[0] => array([[8.05977145e-01],
                     [4.92200000e+01],
                     [1.23157152e+08]
                      ])

確保我的訓練集中沒有 nan 值x_train, and y_train ：

for main_index, xx in enumerate(x_train):
  for i, y in enumerate(xx):
    if type(x_train[main_index][i][0]) !=  np.float64:
      print("Something wrong here:" ,main_index, i)
else:
  print("done") # one done, got nothing wrong

最后我在這里訓練 LSTM

def build_nn():
    model = Sequential()    
    model.add(Bidirectional(LSTM(32, return_sequences=True, input_shape = (x_train.shape[1], 1), name="one"))) #. input_shape = (None, *x_train.shape) , 
    model.add(Dropout(0.20))
    model.add(Bidirectional(LSTM(32, return_sequences=False, name="three")))
    model.add(Dropout(0.10))
    model.add(Dense(32, activation='relu'))
    model.add(Dropout(0.10))
    model.add(Dense(1, activation='sigmoid'))
    opt = Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, decay=0.01)
    model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
    return model

filepath = "bilstmv1.h5"
chkp = ModelCheckpoint(monitor = 'val_accuracy', mode = 'auto', filepath=filepath, verbose = 1, save_best_only=True)


model = build_nn()
model.fit(x_train, y_train, epochs=15, batch_size=32, validation_split=0.1, callbacks=[chkp])

這是美國有線電視新聞網：

model.add(Conv1D(256, 3, input_shape = (x_train.shape[1], 1), activation='relu', padding="same"))
model.add(BatchNormalization())
model.add(Dropout(0.15))
model.add(Conv1D(128, 3, activation='relu', padding="same"))
model.add(BatchNormalization())
model.add(Dropout(0.15))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.15))
model.add(Dense(1))
model.add(Activation("sigmoid"))
# opt = Adam(lr=0.01, beta_1=0.9, beta_2=0.999, decay=0.01)
# opt = SGD(lr=0.01)
model.compile(loss='binary_crossentropy', optimizer='adamax', metrics=['accuracy'])

在我開始訓練之前一切似乎都很好，訓練時 val_loss 和 val_accuracy 都沒有改變

Epoch 1/15
1011/1011 [==============================] - 18s 10ms/step - loss: 0.6803 - accuracy: 0.5849 - val_loss: 0.6800 - val_accuracy: 0.5803

Epoch 00001: val_accuracy improved from -inf to 0.58025, saving model to bilstmv1.h5
Epoch 2/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6782 - accuracy: 0.5877 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00002: val_accuracy did not improve from 0.58025
Epoch 3/15
1011/1011 [==============================] - 9s 8ms/step - loss: 0.6793 - accuracy: 0.5844 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00003: val_accuracy did not improve from 0.58025
Epoch 4/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6784 - accuracy: 0.5861 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00004: val_accuracy did not improve from 0.58025
Epoch 5/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6796 - accuracy: 0.5841 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00005: val_accuracy did not improve from 0.58025
Epoch 6/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6792 - accuracy: 0.5842 - val_loss: 0.6798 - val_accuracy: 0.5803

Epoch 00006: val_accuracy did not improve from 0.58025
Epoch 7/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6779 - accuracy: 0.5883 - val_loss: 0.6798 - val_accuracy: 0.5803

Epoch 00007: val_accuracy did not improve from 0.58025
Epoch 8/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6797 - accuracy: 0.5830 - val_loss: 0.6798 - val_accuracy: 0.5803

Epoch 00008: val_accuracy did not improve from 0.58025

我試圖改變我在這里和那里看到的每一件事，但沒有任何效果，我確信我的數據中沒有 nan 值，因為我確實在預處理步驟中刪除了它們。 我嘗試運行 CNN 來檢查它是否與 LSTM 相關並且得到了相同的結果（這兩件事中的任何一件都沒有改變） 。 此外，在嘗試了不同的優化器之后，一切都沒有改變。 非常感謝任何幫助。

這是完成所有預處理后數據集的鏈接： https://drive.google.com/file/d/1punYl-f3dFbw1YWtw3M7hVwy5knhqU9Q/view?usp=sharing

使用決策樹我能夠得到 85%

decesion_tree = DecisionTreeClassifier().fit(x_train, y_train)
dt_predictions = decesion_tree.predict(x_test)
score = metrics.accuracy_score(y_test, dt_predictions) # 85

注意：預測測試對所有測試集 (x_test) 具有相同的值，這告訴我們為什么 val_accuracy 沒有改變。

Answer 1

這里有多個問題，因此我將嘗試逐步解決所有問題。

1. 首先是機器學習數據需要具有 model 可以推斷和預測的模式。 股票預測是高度不規則的，幾乎是隨機的，我會將任何 50% 的准確度偏差歸因於統計方差。

2. NN 可能很難訓練，“沒有免費的午餐”

import pandas as pd
import numpy as np

import tensorflow as tf

from tensorflow.keras import *
from tensorflow.keras.layers import *
from tensorflow.keras.optimizers import *

file = pd.read_csv('dummy_db.csv')

x_train = np.expand_dims(file[['feature1', 'feature2', 'feature3']].to_numpy(), axis=2)
y_train = file['Label'].to_numpy(np.bool)


model = Sequential()
model.add(Bidirectional(LSTM(32, return_sequences=True, input_shape = (x_train.shape[1], 1), name="one"))) #. input_shape = (None, *x_train.shape) ,
model.add(Dropout(0.20))
model.add(Bidirectional(LSTM(32, return_sequences=False, name="three")))
model.add(Dropout(0.10))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.10))
model.add(Dense(1, activation='sigmoid'))
opt = SGD(learning_rate = 0, momentum = 0.1)
model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
model.fit(x_train, y_train, epochs=1, batch_size=128, validation_split=0.1)

用於識別初始精度的零 LR 訓練步驟。 您將看到初始准確率為 41%（此准確率是命中或未命中，稍后將解釋）。

316/316 [===============================] - 10 秒 11 毫秒/步 - 損失：0.7006 - 准確度：0.4321 - val_loss ：0.6997 - val_accuracy：0.41

我將 LR 保持小(1e-4) ，這樣您就可以看到發生的准確性變化

opt = SGD(learning_rate = 1e-4, momentum = 0.1)
model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
model.fit(x_train, y_train, epochs=15,batch_size=128, validation_split=0.1)

紀元 1/15 316/316 [===============================] - 7 秒 9 毫秒/步 - 損失：0.6982 - 准確度：0.4573 - val_loss：0.6969 - val_accuracy：0.41

紀元 2/15 316/316 [===============================] - 2s 5ms/步 - 損失：0.6964 - 准確度：0.4784 - val_loss：0.6954 - val_accuracy：0.41

紀元 3/15 316/316 [===============================] - 2s 6ms/步 - 損失：0.6953 - 准確度：0.4841 - val_loss：0.6941 - val_accuracy：0.49

紀元 4/15 316/316 [==============================] - 2s 6ms/步 - 損失：0.6940 - 准確度：0.4993 - val_loss：0.6929 - val_accuracy：0.51

紀元 5/15 316/316 [===============================] - 2s 6ms/步 - 損失：0.6931 - 准確度：0.5089 - val_loss：0.6917 - val_accuracy：0.54

紀元 6/15 316/316 [===============================] - 2s 6ms/步 - 損失：0.6918 - 准確度：0.5209 - val_loss：0.6907 - val_accuracy：0.56

紀元 7/15 316/316 [===============================] - 2s 6ms/步 - 損失：0.6907 - 准確度：0.5337 - val_loss：0.6897 - val_accuracy：0.58

紀元 8/15 316/316 [===============================] - 2s 6ms/步 - 損失：0.6905 - 准確度：0.5347 - val_loss：0.6886 - val_accuracy：0.58

紀元 9/15 316/316 [===============================] - 2s 6ms/步 - 損失：0.6885 - 准確度：0.5518 - val_loss：0.6853 - val_accuracy：0.58

** 為簡潔起見，省略了運行的 Rest **

如果您重新運行訓練，您可能會看到 model 最初的准確度為 58 %，並且從未提高。 這是因為它除了看似存在於 58% 的最小值和我在實際案例中不信任的最小值之外，沒有實際學習的功能。

讓我為此添加更多證據

import pandas as pd

file = pd.read_csv('dummy_db.csv')
sum(file['Label'])/len(file)

0.4176496772757623

這就是有多少真，同時有 58% 的假。 因此，您的 model 正在學習預測所有情況下的錯誤並獲得次優的 58% 准確度。 我們可以證明這個說法

sum(model.predict(x_train) < 0.5)

數組（[44930]）

這是你經常出現 58% 的真正原因，我認為它不會做得更好。

3. 您似乎沒有正確使用 LSTM。 LSTM 輸入的格式為 [batch, timesteps, feature]，我認為您的輸入實際上不是時間步長。 你可以在這里閱讀更多，這個問題很好地解釋了為什么 LSTM 對你的數據來說是一個糟糕的選擇。 有更好的 ML 分類器，包括 DL 和非 DL，它們在這方面比使用 LSTM 更好。 編輯： https://datascience.stackexchange.com/questions/38328/when-does-decision-tree-perform-better-than-the-neural-network更好地解釋了這一點。

那么現在該怎么辦呢？

1. 獲得更好的數據。
2. 閱讀有人做過股票預測的文獻，看看他們到底做了什么。

Answer 2

1. 為什么在嘗試對股市進行分類時在 LSTM 上使用雙向？

2. 您應該嘗試縮放數據： features_3 的值超出范圍。

3. 我不確定這里的功能選擇是個好主意。 在選擇功能時，您的 DT 可能會表現得更好。 但我不認為當試圖找到一個流形將一個可能非常非常高的維度空間分成你的 2 個標簽時，減少維度是一個好主意。