是否有一些預訓練的 LSTM、RNN 或 ANN 模型用於時間序列預測？

Question

我正在嘗試解決時間序列預測問題。 我嘗試了 ANN 和 LSTM，對各種參數進行了大量嘗試，但我所能得到的只是比持久性預測好 8%。

所以我想知道：既然你可以在 keras 中保存模型； 是否有任何用於時間序列預測的預訓練模型（LSTM、RNN 或任何其他 ANN）？ 如果是這樣，我如何獲得它們？ 在 Keras 有嗎？

我的意思是如果有一個包含預訓練模型的網站會非常有用，這樣人們就不必花太多時間來訓練它們。

同樣，另一個問題：

是否可以執行以下操作？ 1. 假設我現在有一個數據集，我用它來訓練我的模型。 假設在一個月內，我將可以訪問另一個數據集（對應於相同的數據或類似的數據，將來可能，但不是唯一的）。 那么是否可以繼續訓練模型？ 這與分批訓練它不是一回事。 當您分批進行時，您會在一瞬間擁有所有數據。 有可能嗎？ 以及如何？

Answer 1

我先回答你最后的問題。

那么是否可以繼續訓練模型？ 這與分批訓練它不是一回事。 當您分批進行時，您會在一瞬間擁有所有數據。 有可能嗎？ 以及如何？

是的，這是可能的。 一般來說，它被稱為遷移學習。 但請記住，如果兩個數據集代表非常不同的人群，網絡將很快“忘記”它在第一次運行時學到的東西，並將優化到第二次運行。 為此，您只需從加載狀態開始訓練，而不是隨機初始化，然后保存模型。 還建議在第二次運行時使用較小的學習率，以便逐漸適應新數據。

是否有任何用於時間序列預測的預訓練模型（LSTM、RNN 或任何其他 ANN）？ 如果是這樣，我如何獲得它們？ 在 Keras 有嗎？

我還沒有找到確切的預訓練模型，但快速搜索給了我幾個活躍的 GitHub 項目，你可以自己運行並獲得結果：時間序列預測與機器學習（LSTM，張量流中的 GRU 實現）， LSTM用於時間序列預測的神經網絡（keras 和 tensorflow）、使用 Keras 的時間序列預測（keras 和 theano）、 具有金融時間序列數據的神經網絡（keras 和 tensorflow）。 另見這篇文章。

Answer 2

現在您可以使用 BERT 或相關變體，在這里您可以找到所有預訓練模型： https : //huggingface.co/transformers/pretrained_models.html

並且可以對RNN進行預訓練和微調，可以參考這篇論文： TimeNet: Pre-trained deep recurrent neural network for time series classification 。