我们如何在机器翻译中生成第一个目标词？

Question

我正在学习使用变压器的机器翻译任务。 据我所知，变形金刚 model 根据源句的前一个词预测目标句的下一个词。 但是，在 MarianMT model（或 T5）中，我发现它的标记器没有句子开头标记（<cls> 或 <s>）。 我认为需要一个标记来开始预测目标句子中的第一个单词。

谁能向我解释 MarianMT model 将如何预测目标句子中的第一个单词？

谢谢你。

Answer 1

从文档中：

model 开始生成 pad_token_id （其中0作为 token_embedding）作为前缀（Bart 使用<s/> ）

因此它不需要 SOS 令牌，因为它在训练期间使用填充令牌作为第一个令牌。