注意网络没有隐藏state？

Question

我想知道编码器的隐藏 state 对于注意力网络有多大用处。 当我查看一个注意model的结构时，我发现一个model大致是这样的：

• x：输入。
• h：编码器的隐藏 state 前馈到下一个编码器的隐藏 state。
• s：解码器的隐藏 state，它具有所有编码器隐藏状态的加权和作为输入，并前馈到下一个解码器的隐藏 state。
• y: Output。

对于像翻译这样的过程，为什么编码器的隐藏状态首先前馈或存在很重要？ 我们已经知道下一个 x 会是什么。 因此，输入的顺序对于 output 的顺序并不一定重要，因为注意 model 同时查看所有输入，所以从先前输入中记住的内容也不一定重要。 你不能直接在 x 的嵌入上使用注意力吗？

谢谢！

Answer 1

你可以很容易地尝试并看到你会得到非常糟糕的结果。 即使您在输入嵌入中添加了一些位置编码，结果也会非常糟糕。

顺序很重要。 句子：

• 约翰爱玛丽。
• 玛丽爱约翰。

确实有不同的含义。 此外，订单不是您从编码器获得的唯一信息。 编码器还输入消歧：单词可以是同音词，例如“train”（参见https://arxiv.org/pdf/1908.11771.pdf ）。 此外，对经过训练的神经网络的探索表明，编码器开发了输入句子的非常抽象的表示（参见https://arxiv.org/pdf/1911.00317.pdf ），并且大部分翻译实际上已经发生在编码器中（见https://arxiv.org/pdf/2003.09586.pdf ）。