Keras：val_loss 和 val_accuracy 没有改变

Question

我正在尝试构建一个 LSTM model 来预测第二天股票是上涨还是下跌。 如您所见，一个简单的分类任务让我困了几天。 我选择 3 个功能仅用于输入我的网络，下面我将展示我的预处理：

# pre-processing, last column has values of either 1 or zero
len(df.columns) # 32 columns
index_ = len(df.columns) - 1
x = df.iloc[:,:index_]
y = df.iloc[:,index_:].values.astype(int)

删除任何 nan 值：

def clean_dataset(df):
    assert isinstance(df, pd.DataFrame), "df needs to be a pd.DataFrame"
    df.dropna(inplace=True)
    indices_to_keep = ~df.isin([np.nan, np.inf, -np.inf, 'NaN', 'nan']).any(1)
    return df[indices_to_keep].astype(np.float64)

df = clean_dataset(df)

然后我选取 3 个选定的特征并显示X和Y的形状

selected_features = ['feature1', 'feature2', 'feature3']
x = x[selected_features].values.astype(float)
# s.shape (44930, 3)
# y.shape (44930, 1)

然后我将我的数据集分成 80/20

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.20, random_state=98 )

在这里，我正在重塑我的数据

x_train = x_train.reshape(x_train.shape[0], x_train.shape[1], 1) 
x_test = x_test.reshape(x_test.shape[0], x_test.shape[1], 1) 
y_train = y_train.reshape(-1, 1)
y_test = y_test.reshape(-1, 1)

这是每一个的新形状：

x_train.shape = (35944, 3, 1)
x_test.shape = (8986, 3, 1)
y_train.shape = (35944, 1)
y_test.shape = (8986, 1)

x_train集合的第一个样本 重塑之前

x_train[0] => array([8.05977145e-01, 4.92200000e+01, 1.23157152e+08])

x_train集合的第一个样本 重塑后

x_train[0] => array([[8.05977145e-01],
                     [4.92200000e+01],
                     [1.23157152e+08]
                      ])

确保我的训练集中没有 nan 值x_train, and y_train ：

for main_index, xx in enumerate(x_train):
  for i, y in enumerate(xx):
    if type(x_train[main_index][i][0]) !=  np.float64:
      print("Something wrong here:" ,main_index, i)
else:
  print("done") # one done, got nothing wrong

最后我在这里训练 LSTM

def build_nn():
    model = Sequential()    
    model.add(Bidirectional(LSTM(32, return_sequences=True, input_shape = (x_train.shape[1], 1), name="one"))) #. input_shape = (None, *x_train.shape) , 
    model.add(Dropout(0.20))
    model.add(Bidirectional(LSTM(32, return_sequences=False, name="three")))
    model.add(Dropout(0.10))
    model.add(Dense(32, activation='relu'))
    model.add(Dropout(0.10))
    model.add(Dense(1, activation='sigmoid'))
    opt = Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, decay=0.01)
    model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
    return model

filepath = "bilstmv1.h5"
chkp = ModelCheckpoint(monitor = 'val_accuracy', mode = 'auto', filepath=filepath, verbose = 1, save_best_only=True)


model = build_nn()
model.fit(x_train, y_train, epochs=15, batch_size=32, validation_split=0.1, callbacks=[chkp])

这是美国有线电视新闻网：

model.add(Conv1D(256, 3, input_shape = (x_train.shape[1], 1), activation='relu', padding="same"))
model.add(BatchNormalization())
model.add(Dropout(0.15))
model.add(Conv1D(128, 3, activation='relu', padding="same"))
model.add(BatchNormalization())
model.add(Dropout(0.15))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.15))
model.add(Dense(1))
model.add(Activation("sigmoid"))
# opt = Adam(lr=0.01, beta_1=0.9, beta_2=0.999, decay=0.01)
# opt = SGD(lr=0.01)
model.compile(loss='binary_crossentropy', optimizer='adamax', metrics=['accuracy'])

在我开始训练之前一切似乎都很好，训练时 val_loss 和 val_accuracy 都没有改变

Epoch 1/15
1011/1011 [==============================] - 18s 10ms/step - loss: 0.6803 - accuracy: 0.5849 - val_loss: 0.6800 - val_accuracy: 0.5803

Epoch 00001: val_accuracy improved from -inf to 0.58025, saving model to bilstmv1.h5
Epoch 2/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6782 - accuracy: 0.5877 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00002: val_accuracy did not improve from 0.58025
Epoch 3/15
1011/1011 [==============================] - 9s 8ms/step - loss: 0.6793 - accuracy: 0.5844 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00003: val_accuracy did not improve from 0.58025
Epoch 4/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6784 - accuracy: 0.5861 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00004: val_accuracy did not improve from 0.58025
Epoch 5/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6796 - accuracy: 0.5841 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00005: val_accuracy did not improve from 0.58025
Epoch 6/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6792 - accuracy: 0.5842 - val_loss: 0.6798 - val_accuracy: 0.5803

Epoch 00006: val_accuracy did not improve from 0.58025
Epoch 7/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6779 - accuracy: 0.5883 - val_loss: 0.6798 - val_accuracy: 0.5803

Epoch 00007: val_accuracy did not improve from 0.58025
Epoch 8/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6797 - accuracy: 0.5830 - val_loss: 0.6798 - val_accuracy: 0.5803

Epoch 00008: val_accuracy did not improve from 0.58025

我试图改变我在这里和那里看到的每一件事，但没有任何效果，我确信我的数据中没有 nan 值，因为我确实在预处理步骤中删除了它们。 我尝试运行 CNN 来检查它是否与 LSTM 相关并且得到了相同的结果（这两件事中的任何一件都没有改变） 。 此外，在尝试了不同的优化器之后，一切都没有改变。 非常感谢任何帮助。

这是完成所有预处理后数据集的链接： https://drive.google.com/file/d/1punYl-f3dFbw1YWtw3M7hVwy5knhqU9Q/view?usp=sharing

使用决策树我能够得到 85%

decesion_tree = DecisionTreeClassifier().fit(x_train, y_train)
dt_predictions = decesion_tree.predict(x_test)
score = metrics.accuracy_score(y_test, dt_predictions) # 85

注意：预测测试对所有测试集 (x_test) 具有相同的值，这告诉我们为什么 val_accuracy 没有改变。

Answer 1

这里有多个问题，因此我将尝试逐步解决所有问题。

1. 首先是机器学习数据需要具有 model 可以推断和预测的模式。 股票预测是高度不规则的，几乎是随机的，我会将任何 50% 的准确度偏差归因于统计方差。

2. NN 可能很难训练，“没有免费的午餐”

import pandas as pd
import numpy as np

import tensorflow as tf

from tensorflow.keras import *
from tensorflow.keras.layers import *
from tensorflow.keras.optimizers import *

file = pd.read_csv('dummy_db.csv')

x_train = np.expand_dims(file[['feature1', 'feature2', 'feature3']].to_numpy(), axis=2)
y_train = file['Label'].to_numpy(np.bool)


model = Sequential()
model.add(Bidirectional(LSTM(32, return_sequences=True, input_shape = (x_train.shape[1], 1), name="one"))) #. input_shape = (None, *x_train.shape) ,
model.add(Dropout(0.20))
model.add(Bidirectional(LSTM(32, return_sequences=False, name="three")))
model.add(Dropout(0.10))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.10))
model.add(Dense(1, activation='sigmoid'))
opt = SGD(learning_rate = 0, momentum = 0.1)
model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
model.fit(x_train, y_train, epochs=1, batch_size=128, validation_split=0.1)

用于识别初始精度的零 LR 训练步骤。 您将看到初始准确率为 41%（此准确率是命中或未命中，稍后将解释）。

316/316 [===============================] - 10 秒 11 毫秒/步 - 损失：0.7006 - 准确度：0.4321 - val_loss ：0.6997 - val_accuracy：0.41

我将 LR 保持小(1e-4) ，这样您就可以看到发生的准确性变化

opt = SGD(learning_rate = 1e-4, momentum = 0.1)
model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
model.fit(x_train, y_train, epochs=15,batch_size=128, validation_split=0.1)

纪元 1/15 316/316 [===============================] - 7 秒 9 毫秒/步 - 损失：0.6982 - 准确度：0.4573 - val_loss：0.6969 - val_accuracy：0.41

纪元 2/15 316/316 [===============================] - 2s 5ms/步 - 损失：0.6964 - 准确度：0.4784 - val_loss：0.6954 - val_accuracy：0.41

纪元 3/15 316/316 [===============================] - 2s 6ms/步 - 损失：0.6953 - 准确度：0.4841 - val_loss：0.6941 - val_accuracy：0.49

纪元 4/15 316/316 [==============================] - 2s 6ms/步 - 损失：0.6940 - 准确度：0.4993 - val_loss：0.6929 - val_accuracy：0.51

纪元 5/15 316/316 [===============================] - 2s 6ms/步 - 损失：0.6931 - 准确度：0.5089 - val_loss：0.6917 - val_accuracy：0.54

纪元 6/15 316/316 [===============================] - 2s 6ms/步 - 损失：0.6918 - 准确度：0.5209 - val_loss：0.6907 - val_accuracy：0.56

纪元 7/15 316/316 [===============================] - 2s 6ms/步 - 损失：0.6907 - 准确度：0.5337 - val_loss：0.6897 - val_accuracy：0.58

纪元 8/15 316/316 [===============================] - 2s 6ms/步 - 损失：0.6905 - 准确度：0.5347 - val_loss：0.6886 - val_accuracy：0.58

纪元 9/15 316/316 [===============================] - 2s 6ms/步 - 损失：0.6885 - 准确度：0.5518 - val_loss：0.6853 - val_accuracy：0.58

** 为简洁起见，省略了运行的 Rest **

如果您重新运行训练，您可能会看到 model 最初的准确度为 58 %，并且从未提高。 这是因为它除了看似存在于 58% 的最小值和我在实际案例中不信任的最小值之外，没有实际学习的功能。

让我为此添加更多证据

import pandas as pd

file = pd.read_csv('dummy_db.csv')
sum(file['Label'])/len(file)

0.4176496772757623

这就是有多少真，同时有 58% 的假。 因此，您的 model 正在学习预测所有情况下的错误并获得次优的 58% 准确度。 我们可以证明这个说法

sum(model.predict(x_train) < 0.5)

数组（[44930]）

这是你经常出现 58% 的真正原因，我认为它不会做得更好。

3. 您似乎没有正确使用 LSTM。 LSTM 输入的格式为 [batch, timesteps, feature]，我认为您的输入实际上不是时间步长。 你可以在这里阅读更多，这个问题很好地解释了为什么 LSTM 对你的数据来说是一个糟糕的选择。 有更好的 ML 分类器，包括 DL 和非 DL，它们在这方面比使用 LSTM 更好。 编辑： https://datascience.stackexchange.com/questions/38328/when-does-decision-tree-perform-better-than-the-neural-network更好地解释了这一点。

那么现在该怎么办呢？

1. 获得更好的数据。
2. 阅读有人做过股票预测的文献，看看他们到底做了什么。

Answer 2

1. 为什么在尝试对股市进行分类时在 LSTM 上使用双向？

2. 您应该尝试缩放数据： features_3 的值超出范围。

3. 我不确定这里的功能选择是个好主意。 在选择功能时，您的 DT 可能会表现得更好。 但我不认为当试图找到一个流形将一个可能非常非常高的维度空间分成你的 2 个标签时，减少维度是一个好主意。