Python gensim 主题 model 中的访问字典

Question

我想看看如何从 gensim lda 主题 model 访问字典。 这在您训练 lda model 时尤其重要，稍后保存并加载它。 换句话说，假设 lda_model 是在文档集合上训练的 model。 要获得文档主题矩阵，可以执行以下操作或类似于https://www.kdnuggets.com/2019/09/overview-topics-extraction-python-latent-dirichlet-allocation.html中解释的操作：

def regTokenize(text):
    # tokenize the text into words
    import re
    WORD = re.compile(r'\w+')
    words = WORD.findall(text)
    return words

from gensim.corpora.dictionary import Dictionary
ttext = [regTokenize(d) for d in text]  
dic = Dictionary(ttext)
ttext = [dic.doc2bow(text) for text in ttext]
ttext = lda_model.get_document_topics(ttext)

但是，经过训练的lda_model中的字典可能与新数据不同，并且会在最后一行出现错误，例如：

"IndexError: index 41021 is out of bounds for axis 1 with size 41021"

有没有办法（或参数）从训练有素lda_model获取字典，使用它而不是dic = Dictionary(ttext) ？ 非常感谢您的帮助和回答！

Answer 1

一般方法应该是使用 Dictionary.save 方法将训练 model 时创建的Dictionary.load存储到文件中，然后使用Dictionary.save将其读回以供重复使用。

只有这样Dictionary.token2id保持不变，并且可以用于 map id 到单词，反之亦然，用于预训练的 model。