我們如何在機器翻譯中生成第一個目標詞？

Question

我正在學習使用變壓器的機器翻譯任務。 據我所知，變形金剛 model 根據源句的前一個詞預測目標句的下一個詞。 但是，在 MarianMT model（或 T5）中，我發現它的標記器沒有句子開頭標記（<cls> 或 <s>）。 我認為需要一個標記來開始預測目標句子中的第一個單詞。

誰能向我解釋 MarianMT model 將如何預測目標句子中的第一個單詞？

謝謝你。

Answer 1

從文檔中：

model 開始生成 pad_token_id （其中0作為 token_embedding）作為前綴（Bart 使用<s/> ）

因此它不需要 SOS 令牌，因為它在訓練期間使用填充令牌作為第一個令牌。