![](/img/trans.png)
[英]Attention in Keras : How to add different attention mechanism in keras Dense layer?
[英]Keras apply different Dense layer to each timestep
我有(-1, 10)
形狀的訓練數據,我想對每個時間步應用不同的 Dense 層。 目前,我試圖通過將輸入重塑為(-1, 20, 1)
然后在頂部使用TimeDistributed(Dense(10))
層來實現這一點。 但是,這似乎將相同的 Dense 層應用於每個時間步,因此時間步共享權重。 有沒有辦法做到這一點?
您可以應用通過復制輸入 20 次創建的矢量 200 寬的密集層,如下所示:
from tensorflow.python import keras
from keras.models import Sequential
from keras.layers import *
model = Sequential()
model.add(RepeatVector(20, input_shape=(10,)))
model.add(Reshape((200,)))
model.add(Dense(1))
model.compile('sgd', 'mse')
model.summary()
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.