如何確定每個輸入在確定神經網絡輸出中的意義？

Question

我在Keras中有一個簡單的神經網絡，具有16個輸入和1個輸出。 我希望能夠找出這些輸入中的哪一個對確定輸出最為重要（即更改哪個輸入對輸出的影響最大）。 如何在Keras或TensorFlow中做到這一點？ 我知道我可以將經過訓練的神經網絡的權重轉儲到文件中，但這無濟於事，因為權重只是從一個節點到下一個隱藏層中的另一個節點。

謝謝

Xtrain, Xtest, Ytrain, Ytest = train_test_split(X, Y, test_size=.5)

model = Sequential()
model.add(Dense(20, activation='relu', input_dim=16))
model.add(Dense(10, activation='relu'))
model.add(Dense(5, activation='relu'))
model.add(Dense(1, activation='relu'))

model.compile(loss='mse', optimizer='rmsprop')
model.fit(Xtrain, Ytrain, validation_data=(Xtest,Ytest), epochs=200, batch_size=100, verbose=1)

Ypred = model.predict(Xtest)

Answer 1

這可能有點棘手，我不知道如何在Keras中做到這一點，但是將矩陣從輸出單元（在可能結果的范圍內）向后（輸入前饋的反面）乘以輸入單元可以顯示出網絡與每個結果關聯的輸入單位的模式。 看看： https : //github.com/makeyourownneuralnetwork/makeyourownneuralnetwork/blob/master/part3_neural_network_mnist_backquery.ipynb 。