在 Python 中查找 tf-idf 时出现 fit_transform 错误

Question

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
mylist = [
    'a a b c',
    'a c c c d e f',
    'a c d d d',
    'a d f',
]
df = pd.DataFrame({"texts": mylist})
tfidf_vectorizer = TfidfVectorizer(ngram_range=[1, 1])
tfidf_separate = tfidf_vectorizer.fit_transform(df["texts"])

我试图在第 3 行中找到“d”的 tf-idf 值。但是，它向我显示空词汇错误“ValueError：空词汇；也许文档只包含停用词”。

任何有关如何解决错误的建议将不胜感激！

Answer 1

你可以这样做：

• 定义analyzer='char'以便 TfidfVectorizer 使用字母；
• 在词汇表中找到d的索引并使用它

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
mylist = [
    'a a b c',
    'a c c c d e f',
    'a c d d d',
    'a d f',
]
df = pd.DataFrame({"texts": mylist})
tfidf_vectorizer = TfidfVectorizer(ngram_range=[1, 1], analyzer='char')
tfidf_separate = tfidf_vectorizer.fit_transform(df["texts"])
ind = tfidf_vectorizer.vocabulary_['d']
tfidf_separate.todense()[2, ind]
>>> 0.6490674853546846