如何使用gensim從受約束的詞匯中過濾出語料庫中的單詞？
[英]How to filter out words in a corpus from a constrained vocabulary with gensim?
問題描述
我正在使用gensim進行主題建模。 我創建了一個語料庫
wordDict = corpora.Dictionary(trimmedTextTokens)
gsCorpus = [wordDict.doc2bow(text) for text in trimmedTextTokens]
其中trimmedTextTokens是刪除停用詞的結果。 現在，我想從語料庫中篩選出不在受限制或構造的詞匯表中的術語。 有任何想法嗎？ 謝謝！！
1 個解決方案
解決方案1
0 已采納 2017-01-19 10:56:02
假設您的限制詞匯表位於名為restrictedVocabularyList的變量中，則可以執行以下操作：
wordDict = corpora.Dictionary(trimmedTextTokens)
gsCorpus = [wordDict.doc2bow(text) for text in trimmedTextTokens if text in restrictedVocabularyList]
Gensim Fasttext預訓練模型如何獲得詞匯外單詞的向量？
[英]How does the Gensim Fasttext pre-trained model get vectors for out-of-vocabulary words?
您如何將語料庫中的所有單詞包含在 Gensim TF-IDF 中？
[英]How do you include all words from the corpus in a Gensim TF-IDF?
如何使用另一個模型的詞匯表初始化 gensim 模型？
[英]How to initialize a gensim model with the vocabulary from another model?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.