[英]Attention in Keras : How to add different attention mechanism in keras Dense layer?
[英]Keras apply different Dense layer to each timestep
我有(-1, 10)
形状的训练数据,我想对每个时间步应用不同的 Dense 层。 目前,我试图通过将输入重塑为(-1, 20, 1)
然后在顶部使用TimeDistributed(Dense(10))
层来实现这一点。 但是,这似乎将相同的 Dense 层应用于每个时间步,因此时间步共享权重。 有没有办法做到这一点?
您可以应用通过复制输入 20 次创建的矢量 200 宽的密集层,如下所示:
from tensorflow.python import keras
from keras.models import Sequential
from keras.layers import *
model = Sequential()
model.add(RepeatVector(20, input_shape=(10,)))
model.add(Reshape((200,)))
model.add(Dense(1))
model.compile('sgd', 'mse')
model.summary()
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.