如何將大型數據集加載到 gensim word2vec model

Question

所以我有多個文本文件（大約 40 個）。 每個文件大約有 2000 篇文章（平均每篇 500 字）。 每個文檔都是文本文件中的一行。

因此，由於 memory 的限制，我想使用這些文本文件的動態加載來進行訓練。 （也許是一個迭代器 class？）

那么我該如何進行呢？

• 訓練每個文本文件 -> 保存 model -> 加載 model 並重新運行新數據？
• 迭代器 class 有沒有辦法自動執行此操作？
• 我應該逐句、逐條或逐個文本文件地給出 model 培訓的輸入嗎？

Answer 1

所以我有多個文本文件（大約 40 個）。 每個文件大約有 2000 篇文章（平均每篇 500 字）。 每個文檔都是文本文件中的一行。

因此，由於 memory 的限制，我想使用這些文本文件的動態加載來進行訓練。 （也許是一個迭代器 class？）

那么我該如何進行呢？

• 訓練每個文本文件 -> 保存 model -> 加載 model 並重新運行新數據？
• 迭代器 class 有沒有辦法自動執行此操作？
• 我應該逐句、逐條或逐個文本文件地給出 model 培訓的輸入嗎？