Gensim 训练 word2vec 和 Fasttext

Question

我需要用 word2vec 和 fasttext 训练我自己的 model。 通过阅读不同的来源，我发现了不同的信息。 所以我做了 model 并像这样训练它：

model = FastText(all_words, size=300, min_count= 3,sg=1)
model = Word2Vec(all_words, min_count=3, sg = 1, size = 300 )

所以我读到这应该足以创建和训练 model。 但后来我看到，有些人是分开做的：

model = FastText(size=4, window=3, min_count=1)  # instantiate
model.train(sentences=common_texts, total_examples=len(common_texts), epochs=10)  # train

现在我很困惑，不知道我所做的是否正确。 有人可以帮我说清楚吗？ 谢谢

Answer 1

当您实例化 model object 时，提供您的训练语料库 - all_words是完全可以接受的。 在这种情况下，model 将使用该数据自动执行训练 model 所需的所有步骤。 所以你可以这样做：

model = Word2Vec(all_words, ...)  # where '...' is your non-default params

在实例化 model 时不提供语料库也是可以接受的 - 但是 model 非常小，只有您的初始参数。 它仍然需要发现相关的词汇表（这需要对训练数据进行一次遍历），然后分配一些变化很大的内部结构来容纳这些单词，然后进行实际的训练（这需要对训练数据进行多次额外的遍历）。

因此，如果您在实例化 model 时不提供语料库，则应该进行两个额外的方法调用：

model = Word2Vec(...)  # where '...' is your non-default params
model.build_vocab(all_words)  # discover vocabulary & allocate model
# now train, with #-of-passes & #-of-texts set by earlier steps
model.train(all_words, epochs=model.iter, total_examples=model.corpus_count)

我展示的这两个代码块是等效的。 顶部为您执行通常的步骤； 底部将步骤分解为您的显式控制。

（您在问题中摘录的代码仅显示.train()调用，由于多种原因会出错.build_vocab()是获得完全分配的 model 和调用.train()必须明确 state 所需的epochs和语料库中项目数量的准确计数total_examples 。但是，您可以并且通常应该重用已经通过前两个步骤缓存到model中的值。）

您可以选择使用哪种方法。 通常，如果人们想要在步骤之间进行其他输出/记录，或者在可能篡改 model state 的步骤之间进行一些高级操作，则通常只使用 3 个单独的步骤过程。