帶有 python 的 TF-IDF 矢量化器

Question

我對 python 中的 TfidfVectorizer function 有問題。 例如，如果我有一個這樣的字符串：'xxx//xx. aaa.bb.ccc.d' 將提取這些單詞作為字典的鍵：'xxx', 'xx', 'aaa', 'bb', 'ccc', 'd' 相反，我想創建這些新功能：'xxx//xx.'、'aaa.bb.ccc.d'

我如何詢問 TfidfVectorizer function 到 select 單詞之間用空格（''）分隔？

Answer 1

看看： https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html

有一個參數叫做token-pattern。

Answer 2

TfidfVectorizer 中token-pattern參數用於指定自定義拆分模式

from sklearn.feature_extraction.text import TfidfVectorizer
a = ['xxx//xx. aaa.bb.ccc.d']  
t = TfidfVectorizer(token_pattern=r"([a-z]*//[a-z]*)|([a-z.]*)")

輸出

[('', ''), ('', '.'), ('', 'aaa.bb.ccc.d'), ('xxx//xx', '')]

在這種情況下，需要進行一些后期清潔。