注意力网络是如何运作的？

Question

最近我正在研究注意力就是你需要的所有论文，通过它我发现了一个关于理解注意力网络的问题，如果我忽略它背后的数学。 谁能通过一个例子让我理解注意力网络？

Answer 1

本教程说明了 Transformer 中的每个核心组件，绝对值得一读。

直观地说，注意力机制试图根据注意力函数找到“相似”的时间步长（例如，注意力中的投影+余弦相似度就是你所需要的），然后使用相应计算的权重和先前的表示来计算新的表示。