适用于 pytorch 的变形金刚标记器注意掩码

Question

在我的代码中我有：

output = self.decoder(output, embedded, tgt_mask=attention_mask)

在哪里

decoder_layer = TransformerDecoderLayer(embedding_size, num_heads, hidden_size, dropout, batch_first=True)
self.decoder = TransformerDecoder(decoder_layer, 1)

我使用 huggingface 的分词器生成注意力掩码：

batch = tokenizer(example['text'], return_tensors="pt", truncation=True, max_length=1024, padding='max_length')
inputs = batch['input_ids']
attention_mask = batch['attention_mask']

通过模型运行它失败了

AssertionError: only bool and floating types of attn_mask are supported

将注意力掩码更改为attention_mask = batch['attention_mask'].bool()

成因

RuntimeError: The shape of the 2D attn_mask is torch.Size([4, 1024]), but should be (1024, 1024)

知道如何将 huggingface 分词器与我自己的 pytorch 模块一起使用吗？

Answer 1

Pytorchs tgt_mask与 hf attention_mask不同。 后者指示填充哪些标记：

from transformers import BertTokenizer

t= BertTokenizer.from_pretrained("bert-base-cased")

encoded = t("this is a test", max_length=10, padding="max_length")
print(t.pad_token_id)
print(encoded.input_ids)
print(encoded.attention_mask)

Output：

0
[101, 1142, 1110, 170, 2774, 102, 0, 0, 0, 0]
[1, 1, 1, 1, 1, 1, 0, 0, 0, 0]

Pytorchs 等同于tgt_key_padding_mask 。

另一方面， tgt_mask有不同的用途，它定义了哪个令牌应该关注其他令牌。 对于 NLP 转换器解码器，这通常用于防止令牌关注未来的令牌（因果掩码）。 如果这是您的用例，您也可以简单地传递tgt_is_causal=True并且 PyTorch 将为您创建tgt_mask 。