Long Sequence 在 seq2seq 模型中注意？

Question

我正在關注這個 pytorch 教程，並嘗試將這一原則應用於總結，其中編碼序列約為 1000 個單詞，解碼器目標為 200 個單詞。

我如何將seq2seq應用於此？ 我知道一次遍歷整個 1000 個單詞的序列會非常昂貴且幾乎不可行。 因此，將 seq 分成 20 個 seq 並並行運行可能是一個答案。 但我不確定如何實現它； 我也想把注意力融入其中。

Answer 1

您無法及時並行化 RNN（此處為 1000），因為它們本質上是順序的。

您可以使用輕量級 RNN，例如QRNN或SRU作為更快的替代方案（仍然是順序的）。

另一個常見的序列處理模塊是TCN和Transformer ，它們都可以在時間上並行化。

另外，請注意，所有這些都可以謹慎使用，並且可以完美地處理文本。