從 Gensim LDA 或 pyLDAvis 中提取詞顯着性
[英]Extract Word Saliency from Gensim LDA or pyLDAvis
問題描述
我看到 pyLDAvis 可視化了每個主題下每個單詞的顯着性。
但是我們有沒有辦法提取每個主題下每個單詞的顯着性？ 或者如何直接使用Gensim LDA計算每個單詞的顯着性？
所以最后，我想得到一個 Pandas 數據框，一行代表一個詞，每一列代表每個主題，它的值代表相應主題下詞的顯着性。
提前謝謝了。
1 個解決方案
解決方案1
0 2021-10-15 03:27:38
Gensim 的 LDA 支持對 Chuang 等人 (2012) 的這種特殊“顯着性”計算沒有開箱即用的支持。
不過，我懷疑模型的.get_term_topics()和/或.get_topic_terms()方法是實現該計算的正確支持數據。 特別是，這些方法中的一種或另一種可能提供p( w | t )項，但需要更深入地閱讀論文才能確定。 （我懷疑P(t)項可能需要對訓練數據進行單獨調查。）
來自課堂文檔：
https://radimrehurek.com/gensim/models/ldamodel.html#gensim.models.ldamodel.LdaModel.get_term_topics
返回相關主題表示為它們的 ID 和它們分配的概率的對，按與給定單詞的相關性排序。
https://radimrehurek.com/gensim/models/ldamodel.html#gensim.models.ldamodel.LdaModel.get_topic_terms
返回詞 ID - 主題生成的最相關詞的概率對。
我之前沒有遇到過這種特殊的“顯着性”計算，但是如果它在 LDA 用戶中很受歡迎，或者具有潛在的普遍用途，並且您知道如何計算它，那么它可能是對 Gensim 項目的一個受歡迎的貢獻- 特別是如果它可以是LdaModel上一個簡單的額外方便的方法。
有沒有辦法將Gensim LDA輸出與pyLDAvis圖中的主題相匹配？
[英]Is there any way to match Gensim LDA output with topics in pyLDAvis graph?
來自gensim的pyLDAvis可視化未在google colab中顯示結果
[英]pyLDAvis visualization from gensim not displaying the result in google colab
從lda gensim檢索topic-word數組和document-topic數組
[英]retrieve topic-word array & document-topic array from lda gensim
LDA Gensim Word - >主題ID分布而不是主題 - >單詞分發
[英]LDA Gensim Word -> Topic Ids Distribution instead of Topic -> Word Distribution
如何在gensim LDA中獲取給定單詞的主題詞概率？
[英]How to get the topic-word probabilities of a given word in gensim LDA?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
可以從gensim lda模型中提取弓
有沒有辦法將Gensim LDA輸出與pyLDAvis圖中的主題相匹配？
如何通過gensim在LDA分析中刪除單詞
提取文檔 LDA Gensim Python 的主題分數
來自gensim的pyLDAvis可視化未在google colab中顯示結果
從lda gensim檢索topic-word數組和document-topic數組
LDA Gensim Word - >主題ID分布而不是主題 - >單詞分發
詞頻對Gensim LDA Topic建模有什么影響
如何在gensim LDA中獲取給定單詞的主題詞概率？
從gensim LDA模型中提取Topic分布
相關標簽