尝试使用 LDA model 在 Gensim 中获取相似性时出现“太多值无法解包”错误

Question

我基本上使用的是 anaconda 环境 python 3.7，gensim 3.8.0。 我的数据是 dataframe ，在测试和训练集中分开，它们都具有以下结构：

X_test 和 Xtrain dataframe 格式：

        id                                            alltext  
1710  3264537  [exmodelo, karen, mcdougal, asegura, mantuvo, ...   
8211  3272079  [grupo, socialista, pionero, supone, apoyar, n...   
1885  3263933  [parte, entrenador, zaragoza, javier, aguirre,...   
2481  3263744  [fans, hielo, fuego, saga, literaria, dio, pie...   
2975  3265302  [actividad, busca, repetir, tres, ediciones, a... 

已经预处理。

这是我用于创建 model 的代码

id2word = corpora.Dictionary(X_train["alltext"])   
texts = X_train["alltext"]
corpus = [id2word.doc2bow(text) for text in texts]

lda_model = gensim.models.ldamodel.LdaModel(corpus=corpus,
                                       id2word=id2word,
                                       num_topics=20,
                                       random_state=100, 
                                       update_every=1, 
                                       chunksize=400, 
                                       passes=10, 
                                       alpha='auto',
                                       per_word_topics=True)enter code here

直到这里，一切正常。 我可以有效地使用

pprint(lda_model.print_topics())
doc_lda = lda_model[corpus]

获取我的主题。

当我尝试比较新文档和语料库之间的相似性时，问题就来了。 这是我正在使用的代码

newddoc = X_test["alltext"][2730] #I get a particular instance of the test_set
new_doc_freq_vector = id2word.doc2bow(newddoc)  #vectorize its list of words
model_vec= lda_model[new_doc_freq_vector] #run the trained model on it
index = similarities.MatrixSimilarity(lda_model[corpus]) # error
sims = index[model_vec] #error

在最后两行中，我收到此错误：

-------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-110-352248c464f8> in <module>
      4 
      5 #index = Similarity('model/indexes/similarity_index_01', lda_model[corpus], num_features=len(id2word)) #the first argument, the place where the
----> 6 index = similarities.MatrixSimilarity(lda_model[corpus]) # funciona si en vez de lda_model[corpus] usamos solo corpus
      7 index = similarities.MatrixSimilarity(model_vec)
      8 #sims = index[model_vec] #funciona si usamos index[new_doc_freq_vector] en vez de model_vec

~\AppData\Local\Continuum\anaconda3\envs\lda_henneo_01\lib\site-packages\gensim\similarities\docsim.py in __init__(self, corpus, num_best, dtype, num_features, chunksize, corpus_len)
    776                 "scanning corpus to determine the number of features (consider setting `num_features` explicitly)"
    777             )
--> 778             num_features = 1 + utils.get_max_id(corpus)
    779 
    780         self.num_features = num_features

~\AppData\Local\Continuum\anaconda3\envs\lda_henneo_01\lib\site-packages\gensim\utils.py in get_max_id(corpus)
    734     for document in corpus:
    735         if document:
--> 736             maxid = max(maxid, max(fieldid for fieldid, _ in document))
    737     return maxid
    738 

~\AppData\Local\Continuum\anaconda3\envs\lda_henneo_01\lib\site-packages\gensim\utils.py in <genexpr>(.0)
    734     for document in corpus:
    735         if document:
--> 736             maxid = max(maxid, max(fieldid for fieldid, _ in document))
    737     return maxid
    738 

ValueError: too many values to unpack (expected 2

不知道如何解决这个问题，我已经尝试调试了 3 个小时。 ，我相信我遵循了许多其他人使用的相同代码以获得相似性。

我试图解决的问题：

1）使用

Similarity('model/indexes/similarity_index_01', lda_model[corpus], num_features=len(id2word)) 。

但它没有用。 获得了相同的错误代码。

2) 如果我用语料库替换 lda_model[corpus]，用 index[new_doc_freq_vector] 替换 index[model_vec]，similarities.MatrixSimilarity() 有效。 但我相信它没有给出正确的结果，因为它没有 model 信息。 它的工作原理告诉我它与数据类型有关（？），如果我打印 lda_model[corpus] 我得到

<gensim.interfaces.TransformedCorpus object at 0x00000221ECA8E148>

不知道这意味着什么。

Answer 1

从这里开始： https://radimrehurek.com/gensim/similarities/docsim.html#gensim.similarities.docsim.MatrixSimilarity

MatrixSimilarity有 2 个参数：

# num_features (int) – Size of the dictionary (number of features).
MatrixSimilarity(common_corpus, num_features=len(common_dictionary))

希望这可以帮助。 祝你好运。

Answer 2

如果将 lda 更改为lda_model = gensim.models.ldamodel.LdaModel(corpus=vectorized_corpus, id2word=id2word, num_topics=20, random_state=100, update_every=1, chunksize=400, passes=10, alpha='auto'

相似性起作用，原因是最初发布的 per_word_topic = true 参数，导致model_vec= lda_model[new_doc_freq_vector]的 output 成为该文档中每个主题的每个单词的分布（每个单词出现在每个主题的概率) 而不是一个列表，其中该文档的概率是每个主题的一部分，如果您将该参数设置为“True”，则这种格式差异会导致相似性 function 给出错误。 如果你把它取下来，它工作得很好。 更多细节在这里https://github.com/RaRe-Technologies/gensim/issues/2644