gensim的潜在语义索引

Question

为了使用gensim中的潜在语义索引方法，我想从一个小“ classique”示例开始：

import logging, gensim, bz2
id2word = gensim.corpora.Dictionary.load_from_text('wiki_en_wordids.txt')
mm = gensim.corpora.MmCorpus('wiki_en_tfidf.mm')
lsi = gensim.models.lsimodel.LsiModel(corpus=mm, id2word=id2word, num_topics=400)
etc..

我的问题是：如何获取语料库迭代器“ wiki_en_tfidf.mm”？ 我必须从某个地方下载吗？ 我已经在Internet上搜索了，但是没有找到任何东西。 请帮助 ？

Answer 1

搜索结果的第一页包含指向以下内容的链接：

https://radimrehurek.com/gensim/wiki.html

它说：“首先，让我们加载在上面第二步中创建的语料库迭代器和字典。”

步骤2是

2. 将文章转换为纯文本（处理Wiki标记），并将结果存储为稀疏TF-IDF向量。 在Python中，这很容易即时进行，我们甚至不需要将整个档案解压缩到磁盘上。 gensim中包含一个脚本，可以执行以下操作：

   $ python -m gensim.scripts.make_wiki