自注意力对输入大小敏感吗？
[英]Is Self Attention Sensitive to Input Size?
问题描述
我有一个分层模型，其中使用 self attention（来自 Transformer）对句子中的每个单词进行编码，然后是另一个 self attention 块，将每个句子表示（由前一个块输出）编码为最终表示。 每个训练示例包含 20 个句子。 但是，我注意到当我在较小的句子集上进行测试时（比如 6 个句子，其余的被屏蔽），它的表现比我用 6 个句子集训练模型时表现更差。 我觉得这个结果有些出人意料，我想知道其他人是否经历过这样的事情。 如果是这样，您是否找到了为什么会发生这种情况，以及如何使模型对输入大小更稳健？
0 个解决方案
Transformer 中自注意力的计算复杂度 Model
[英]Computational Complexity of Self-Attention in the Transformer Model
将自注意力池化层的 PyTorch 转换为 Tensorflow
[英]Converting from PyTorch to Tensorflow for Self-Attention Pooling Layer
输入到变压器的训练数据是什么（你只需要注意）？
[英]What is the training data input to the transformers (attention is all you need)?
在 Keras 上将注意力层与解码器输入 seq2seq 模型连接起来
[英]Concatening an attention layer with decoder input seq2seq model on Keras
Transformers 中的自注意力机制如何能够学习单词之间的关系？
[英]How is the self-attention mechanism in Transformers able to learn how the words are related to each other?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.