如何使用具有权重（来自列值）而不是计数的CountVectorizer来加权unigram / bigram / trigram？

Question

我的数据集包含一个文本块以及一个带有汇总计数的列，它看起来像这样：

文本，计数 （列名）

这是我的家，100

我在哪里，10

这是小菜一碟，2

我通过互联网构建一个unigram的代码

def get_top_n_words(corpus, n=None):
    vec = sk.feature_extraction.text.CountVectorizer().fit(corpus)
    bag_of_words = vec.transform(corpus)
    sum_words = bag_of_words.sum(axis=0) 
    words_freq = [(word, sum_words[0, idx]) for word, idx in vec.vocabulary_.items()]
    words_freq =sorted(words_freq, key = lambda x: x[1], reverse=True)
    return words_freq[:n]
common_words = get_top_n_words(df['text'], 20)

使用标准的CountVectorizer，我会产生一个看起来像这样的unigram：

这2

是2

我的1

哪里1

我1我1

1

第1部分

1

蛋糕1

我希望它可以通过计数加权，因为它是一个汇总计数，即：

这102

是102

我的100

哪里10

我10

我10

a2

第2部分

2

蛋糕2

这可能吗？

Answer 1

您可以做的是在transform后使用toarray方法，以便能够在计数值之后执行矩阵乘法：

def get_top_n_words(corpus, count, n=None): # add the parameter with the count values
    vec = feature_extraction.text.CountVectorizer().fit(corpus)
    # here multiply the toarray of transform with the count values
    bag_of_words = vec.transform(corpus).toarray()*count.values[:,None] 
    sum_words = bag_of_words.sum(axis=0) 
    # accessing the value in sum_words is a bit different but still related to idx
    words_freq = [(word, sum_words[idx]) for word, idx in vec.vocabulary_.items()] 
    words_freq =sorted(words_freq, key = lambda x: x[1], reverse=True)
    return words_freq[:n]

common_words = get_top_n_words(df['text'], df['count'], 20)
print (common_words)
[('this', 102),
 ('is', 102),
 ('my', 100),
 ('home', 100),
 ('where', 10),
 ('am', 10),
 ('piece', 2),
 ('of', 2),
 ('cake', 2)]