带有 python 的 TF-IDF 矢量化器

Question

我对 python 中的 TfidfVectorizer function 有问题。 例如，如果我有一个这样的字符串：'xxx//xx. aaa.bb.ccc.d' 将提取这些单词作为字典的键：'xxx', 'xx', 'aaa', 'bb', 'ccc', 'd' 相反，我想创建这些新功能：'xxx//xx.'、'aaa.bb.ccc.d'

我如何询问 TfidfVectorizer function 到 select 单词之间用空格（''）分隔？

Answer 1

看看： https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html

有一个参数叫做token-pattern。

Answer 2

TfidfVectorizer 中token-pattern参数用于指定自定义拆分模式

from sklearn.feature_extraction.text import TfidfVectorizer
a = ['xxx//xx. aaa.bb.ccc.d']  
t = TfidfVectorizer(token_pattern=r"([a-z]*//[a-z]*)|([a-z.]*)")

输出

[('', ''), ('', '.'), ('', 'aaa.bb.ccc.d'), ('xxx//xx', '')]

在这种情况下，需要进行一些后期清洁。