使用潜在的狄利克雷分配捕获二元主题而不是一元主题

Question

我尽量让喜欢尝试这个问题

LDA 原始输出

Uni-grams

    topic1 -scuba,water,vapor,diving

    topic2 -dioxide,plants,green,carbon

所需输出

Bi-gram topics

    topic1 -scuba diving,water vapor

    topic2 -green plants,carbon dioxide

还有这个答案

from nltk.util import ngrams

for doc in docs:
    docs[doc] = docs[doc] + ["_".join(w) for w in ngrams(docs[doc], 2)]

有什么帮助我应该做哪些更新才能只有二元组？

Answer 1

仅创建带有 bigrams 的文档：

from nltk.util import ngrams

for doc in docs:
    docs[doc] = ["_".join(w) for w in ngrams(docs[doc], 2)]

或二元组的具体方法：

from nltk.util import bigrams

for doc in docs:
    docs[doc] = ["_".join(w) for w in bigrams(docs[doc])]

然后在texts使用这些二元组的列表以供将来操作。