如何在这个 seq2seq 模型中拟合这个简单的注意力层？

Question

我一直在尝试将注意力机制添加到我的 seq2seq 模型中，但没有成功。 我尝试了 keras Attention 层，但结果并不好。 显然它不适合 RNN，定制的注意力层是一个更好的选择。 我找到了这个简单的附加注意力类，但我不确定如何在我的模型中使用它。

它需要什么输入以及如何输入？

class Bahdanau(tf.keras.layers.Layer):
def __init__(self, n):
    super(Bahdanau, self).__init__()
    self.w = tf.keras.layers.Dense(n)
    self.u = tf.keras.layers.Dense(n)
    self.v = tf.keras.layers.Dense(1)
def call(self, stminus1, h):
    stminus1 = tf.expand_dims(stminus1, 1)
    e = self.v(tf.nn.tanh(self.w(stminus1) + self.u(h)))
    a = tf.nn.softmax(e, axis=1)
    c = a * h
    c = tf.reduce_sum(c, axis=1)
    return a,c

我可能错了，但我认为它将en_in和dec_h作为输入并输出上下文向量和注意力权重。 另外，在哪里输入上下文向量？

这是模型 -

en_in = Input(shape=(text_maxlen,))
en_emb = Embedding(x_voc,emb_dim,trainable=True)(en_in)

en_lstm_layer1 = Bidirectional(LSTM(latent_dim, return_sequences=True,return_state=True,dropout=0.1,
                              recurrent_activation="sigmoid"),name='bi_lstm1')

en_out, forw_h, forw_c, back_h, back_c = en_lstm_layer1(en_emb)
en_h = Concatenate()([forw_h,back_h])
en_c = Concatenate()([forw_c,back_c])

dec_in = Input(shape=(None,))
dec_emb_layer = Embedding(y_voc,emb_dim,trainable=True)
dec_emb = dec_emb_layer(dec_in)

dec_lstm_layer = LSTM(latent_dim*2, return_sequences=True, return_state=True,
               recurrent_activation="sigmoid")

dec_out, dec_h, dec_c = dec_lstm_layer(dec_emb,initial_state=[en_h,en_c])
dec_dense = Dense(y_voc, activation='softmax')
dec_out = dec_dense(dec_out)