如何將 2D 注意力掩碼傳遞給 HuggingFace BertModel？

Question

我想將定向注意力掩碼傳遞給BertModel.forward ，以便我可以控制每個標記在自我注意期間可以看到哪些周圍標記。 該矩陣必須是二維的。

這是一個包含三個輸入 ID 的示例，其中前兩個標記無法關注最后一個。 但是最后一個可以處理所有令牌。

torch.tensor([
 [1, 1, 1]
 [1, 1, 1]
 [0, 0, 1]
])

不幸的是，該文檔沒有提及任何關於支持 2D 注意力掩碼（或者更確切地說 3D 具有批次維度）的內容。 可以通過 3D 注意力掩碼，但在我的實驗中，無論掩碼看起來如何，model 的性能都沒有太大變化。

這可能嗎，如果可能的話怎么辦？

Answer 1

如果你能提供更多細節，它會更清楚。 無論如何，這是我的初始答案，以便在 model 使用掩碼的實現中簡化事情。 例如在這一行中：正如您所注意到的，如果您在此處跟蹤擴展 function，那么您會發現這就是您在這一行中的情況此時您可以決定稍后需要什么。