如何将 2D 注意力掩码传递给 HuggingFace BertModel？

Question

我想将定向注意力掩码传递给BertModel.forward ，以便我可以控制每个标记在自我注意期间可以看到哪些周围标记。 该矩阵必须是二维的。

这是一个包含三个输入 ID 的示例，其中前两个标记无法关注最后一个。 但是最后一个可以处理所有令牌。

torch.tensor([
 [1, 1, 1]
 [1, 1, 1]
 [0, 0, 1]
])

不幸的是，该文档没有提及任何关于支持 2D 注意力掩码（或者更确切地说 3D 具有批次维度）的内容。 可以通过 3D 注意力掩码，但在我的实验中，无论掩码看起来如何，model 的性能都没有太大变化。

这可能吗，如果可能的话怎么办？

Answer 1

如果你能提供更多细节，它会更清楚。 无论如何，这是我的初始答案，以便在 model 使用掩码的实现中简化事情。 例如在这一行中：正如您所注意到的，如果您在此处跟踪扩展 function，那么您会发现这就是您在这一行中的情况此时您可以决定稍后需要什么。