Keras神經網絡為每個輸入輸出相同的結果

Question

我試圖實現一個前饋神經網絡。

這是結構：輸入層：8個神經元，隱藏層：8個神經元和輸出層：8個神經元。

輸入數據是8位的矢量（輸入層的每個神經元為1位）。 神經網絡的輸出也是8位的向量。 所以總共數據集有256個例子。

示例：如果給定x = [0.0,1.0,0.0,0.0,1.0,1.0,0.0,1.0]

輸出必須是y = [1.0,0.0,0.0,0.0,0.0,1.0,0.0,1.0]

這是實施：

from keras.models import Sequential
from keras.layers import Dense
import numpy as np
import random
from math import ceil

#Dimension of layers
dim = 8

#Generate dataset
X = []
for i in range(0,2**dim):
    n = [float(x) for x in bin(i)[2:]]
    X.append([0.]*(dim-len(n))+n)
y = X[:]
random.shuffle(y)
X = np.array(X)
y = np.array(y)

# create model
model = Sequential()
model.add(Dense(dim, input_dim=dim, init='normal', activation='sigmoid'))
model.add(Dense(dim, init='normal', activation='sigmoid'))
model.add(Dense(dim, init='normal', activation='sigmoid'))

# Compile model
model.compile(loss='mse', optimizer='SGD', metrics=['accuracy'])
# Fit the model
model.fit(X, y, nb_epoch=1000, batch_size=50, verbose=0)
# evaluate the model
scores = model.evaluate(X, y)
print("%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))
output = model.predict(X)

#Make the output binary
for i in range(0, output[:,0].size):
    for j in range(0, output[0].size):
        if output[i][j] > 0.5 or output[i][j] == 0.5:
            output[i][j] = 1
        else:
            output[i][j] = 0
print(output)

這是我輸出的內容：

acc: 50.39%
[[ 1.  0.  0. ...,  0.  1.  1.]
[ 1.  0.  0. ...,  0.  1.  1.]
[ 1.  0.  0. ...,  0.  1.  1.]
..., 
[ 1.  0.  0. ...,  0.  1.  1.]
[ 1.  0.  0. ...,  0.  1.  1.]
[ 1.  0.  0. ...,  0.  1.  1.]]

似乎所有輸出都具有相同的值。 所以我不知道配置有什么問題。 我試過這個無法訓練keras中的神經網絡 - stackoverflow建議刪除輸出層的激活函數，但是當我運行它時，我得到具有此值的所有輸出向量：

[0.1。1. ...，1.1。1.]

有關如何使其工作的任何見解？

Answer 1

我遇到了同樣的問題。

我建議你降低SGD的學習率。 在我的情況下，我使用了Adam優化器，lr = 0.001，但是改為0.0001解決了這個問題。

SGD的默認參數是 ：

keras.optimizers.SGD（lr = 0.01，動量= 0.0，衰減= 0.0，nesterov =假）

Answer 2

輸出與多標簽分類相似，所以我建議：

1. 將損失函數更改為binary_crossentropy
2. 將最后一個激活層保留為sigmoid並更改其他激活層 - relu可能是一個不錯的選擇。
3. 為您的“適合”調用添加驗證並增加詳細程度 - 這將使您了解您的網絡在整個時代中的變化情況，特別是當它超過/不足時
4. 添加深度到網絡，直到你適合
5. 將正則化添加到您的網絡，直到您不適合
6. 重復4 + 5

Answer 3

如果您嘗試了以上所有操作並且它不起作用，則意味着您嘗試適應噪聲，輸入和輸出之間沒有連接/相關/相關性。