如何通过gensim在LDA分析中删除单词

Question

我正在使用gensim进行LDA主题建模工作。 我的数据已被其他人预处理。 他给了我两件事。 ①mmcorpus文件（由gensim.corpora.MmCorpus函数导入）②字典文件（由gensim.corpora.Dictionary.load函数导入）我成功创建了LDA模型，并将超参数ALPHA调整为0.5-1.5，并绘制了一个像这个： 我很困惑，为什么那里有几根高大的酒吧。 我发现了一些奇怪的词，像这样： 有趣的是，我从未见过的字母“ b”出现了。 给我数据的那个人说，当他将数据转换成字节类型时，字母“ b”可能会自动生成。 他不知道如何删除“ b”，我也不知道。当我只有mmcorpus文件和字典文件时，如何删除“ b”？ 请！

Answer 1

gensim具有从字典中过滤掉特定标记的功能。 您只需要知道其相应的ID。 至于语料库，我不知道有任何内置函数可让您修改其内容。 但是，您可以将（通常是稀疏的）语料库转换为密集的numpy数组，删除列并将其转换回MmCorpus格式。 之后，您应该能够同时使用修改后的字典和语料库来训练新的LDA模型，这一次不会出现不需要的单词。 这是我用一个小的玩具语料库拍摄的照片：

import gensim
import numpy as np

# toy document set
texts = ['This is my first b', 'Another b just like so']
tokenlist = [list(gensim.utils.tokenize(text)) for text in texts]

# create dictionary and MmCorpus
dictionary = gensim.corpora.Dictionary(tokenlist)
corpus = [dictionary.doc2bow(tokens) for tokens in tokenlist]
gensim.corpora.MmCorpus.serialize('MmCorpusTest.mm', corpus)

# assume the word 'b' is to be deleted, put its id in a variable
del_ids = [k for k,v in dictionary.items() if v=='b']

# remove unwanted word ids from the dictionary in place
dictionary.filter_tokens(bad_ids=del_ids)

# load corpus from your file
corpusMm = gensim.corpora.MmCorpus('MmCorpusTest.mm')
# convert corpus to a dense array, transpose because by default documents would be columns
np_corpus = gensim.matutils.corpus2dense(corpusMm, corpusMm.num_terms, num_docs=corpusMm.num_docs).T
# delete columns for specified tokens, transpose back afterwards
np_corpus = np.delete(np_corpus, del_ids, 1).T
# convert array to corpus
new_corpus = gensim.matutils.Dense2Corpus(np_corpus)