在張量流中微調神經網絡

Question

我一直在研究此神經網絡，旨在根據某些屬性來預測模擬風車公園的TBA（基於時間的可用性）。 神經網絡運行得很好，並給了我一些預測，但是我對結果並不滿意。 它沒有注意到我自己可以清楚看到的一些非常明顯的相關性。 這是我當前的代碼：

`# Import
import tensorflow as tf
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

from sklearn.preprocessing import MinMaxScaler

maxi = 0.96 
mini = 0.7 


# Make data a np.array
data = pd.read_csv('datafile_ML_no_avg.csv')
data = data.values

# Shuffle the data
shuffle_indices = np.random.permutation(np.arange(len(data)))
data = data[shuffle_indices]

# Training and test data
data_train = data[0:int(len(data)*0.8),:]
data_test = data[int(len(data)*0.8):int(len(data)),:]

# Scale data
scaler = MinMaxScaler(feature_range=(mini, maxi))
scaler.fit(data_train)
data_train = scaler.transform(data_train)
data_test = scaler.transform(data_test)


# Build X and y
X_train = data_train[:, 0:5]
y_train = data_train[:, 6:7]
X_test = data_test[:, 0:5]
y_test = data_test[:, 6:7]

# Number of stocks in training data
n_args = X_train.shape[1]
multi = int(8)
# Neurons
n_neurons_1 = 8*multi
n_neurons_2 = 4*multi
n_neurons_3 = 2*multi
n_neurons_4 = 1*multi

# Session
net = tf.InteractiveSession()

# Placeholder
X = tf.placeholder(dtype=tf.float32, shape=[None, n_args])
Y = tf.placeholder(dtype=tf.float32, shape=[None,1])

# Initialize1s
sigma = 1
weight_initializer = tf.variance_scaling_initializer(mode="fan_avg",                             
distribution="uniform", scale=sigma)
bias_initializer = tf.zeros_initializer()

# Hidden weights
W_hidden_1 = tf.Variable(weight_initializer([n_args, n_neurons_1]))
bias_hidden_1 = tf.Variable(bias_initializer([n_neurons_1]))
W_hidden_2 = tf.Variable(weight_initializer([n_neurons_1, n_neurons_2]))
bias_hidden_2 = tf.Variable(bias_initializer([n_neurons_2]))
W_hidden_3 = tf.Variable(weight_initializer([n_neurons_2, n_neurons_3]))
bias_hidden_3 = tf.Variable(bias_initializer([n_neurons_3]))
W_hidden_4 = tf.Variable(weight_initializer([n_neurons_3, n_neurons_4]))
bias_hidden_4 = tf.Variable(bias_initializer([n_neurons_4]))

# Output weights
W_out = tf.Variable(weight_initializer([n_neurons_4, 1]))
bias_out = tf.Variable(bias_initializer([1]))

# Hidden layer
hidden_1 = tf.nn.relu(tf.add(tf.matmul(X, W_hidden_1), bias_hidden_1))
hidden_2 = tf.nn.relu(tf.add(tf.matmul(hidden_1, W_hidden_2),         
bias_hidden_2))
hidden_3 = tf.nn.relu(tf.add(tf.matmul(hidden_2, W_hidden_3),     
bias_hidden_3))
hidden_4 = tf.nn.relu(tf.add(tf.matmul(hidden_3, W_hidden_4), 
bias_hidden_4))

# Output layer (transpose!)
out = tf.transpose(tf.add(tf.matmul(hidden_4, W_out), bias_out))

# Cost function
mse = tf.reduce_mean(tf.squared_difference(out, Y))

# Optimizer
opt = tf.train.AdamOptimizer().minimize(mse)

# Init
net.run(tf.global_variables_initializer())

# Fit neural net
batch_size = 10
mse_train = []
mse_test = []

# Run
epochs = 10
for e in range(epochs):

# Shuffle training data
shuffle_indices = np.random.permutation(np.arange(len(y_train)))
X_train = X_train[shuffle_indices]
y_train = y_train[shuffle_indices]

# Minibatch training
for i in range(0, len(y_train) // batch_size):
    start = i * batch_size
    batch_x = X_train[start:start + batch_size]
    batch_y = y_train[start:start + batch_size]
    # Run optimizer with batch
    net.run(opt, feed_dict={X: batch_x, Y: batch_y})

    # Show progress
    if np.mod(i, 50) == 0:


        mse_train.append(net.run(mse, feed_dict={X: X_train, Y: y_train}))
        mse_test.append(net.run(mse, feed_dict={X: X_test, Y: y_test}))

        pred = net.run(out, feed_dict={X: X_test})

print(pred)`

試圖調整隱藏層的數量，每層節點的數量，要運行的時期的數量，並嘗試使用不同的激活功能和優化器。 但是，我對神經網絡還是很陌生，所以可能有些明顯的東西我很想念。

在此先感謝所有設法閱讀所有內容的人。

Answer 1

您將共享一個小的數據集來說明問題，這將更加容易。 但是，我將陳述非標准數據集的一些問題以及如何解決它們。

可能的解決方案

1. 正則化和基於驗證的優化 -在尋找一些額外精度時總是可以嘗試的方法。 請參閱此處的輟學方法（原始論文），以及此處的一些概述。

2. 數據不平衡 -有時時間序列中的類別/事件表現得異常，或只是不平衡。 如果您讀一本書，諸如或之類的單詞會比倉庫之類的單詞出現更多的時間。 如果您的主要任務是檢測單詞倉庫，然后以傳統方式訓練網絡（甚至是lstms），則可能會遇到問題。 解決此問題的一種方法是通過平衡樣本（創建平衡的數據集）或為低頻類別賦予更多權重。

3. 模型結構 -有時完全連接的層還不夠。 例如，查看計算機視覺問題，我們在其中使用卷積層進行訓練。 卷積和池化層在模型上強制執行結構，適用於圖像。 這也是某種規則，因為在這些層中我們擁有較少的參數。 在時間序列問題中，卷積也是可能的，事實證明這很好。 參見“ 使用卷積神經網絡進行條件時間序列預測”中的示例。

以上建議是按照我建議嘗試的順序提出的。

祝好運！