嵌入索引超出范围：

Question

我明白为什么经常会出现这个错误，就是input >= embedding_dim。
但是在我的例子中，torch.max(inputs) = embedding_dim - 1。

print('inputs: ', src_seq)
print('input_shape: ', src_seq.shape)
print(self.src_word_emb)
inputs:  tensor([[10,  6,  2,  4,  9, 14,  6,  2,  5,  0],
        [12,  6,  3,  8, 13,  2,  0,  1,  1,  1],
        [13,  8, 12,  7,  2,  4,  0,  1,  1,  1]])
input_shape: [3, 10]
Embedding(15, 512, padding_idx=1)
emb = self.src_word_emb(src_seq)

我试图让变压器 model 工作，出于某种原因，编码器嵌入只接受输入 < embedding_dim_decoder，这没有意义吧？

Answer 1

找到了错误来源。 然而，在转换器 model 中，编码器和解码器可以设置为共享相同的嵌入权重。 我有一个翻译任务，其中一个嵌入用于解码器，一个嵌入用于编码器：在代码中，它通过以下方式初始化权重：

if emb_src_trg_weight_sharing:
            self.encoder.src_word_emb.weight = self.decoder.trg_word_emb.weight

将emb_src_trg_weight_sharing设置为 false 解决了这个问题！