[英]Extract text features from dataframe
我有带有两个文本字段和其他功能的数据框,例如这种格式:
message feature_1 feature_2 score text
'This is the text' 4 7 10 extra text
'This is more text' 3 2 8 and this is another text
现在我的目标是预测分数,当尝试将此数据帧转换为特征矩阵以将其输入到我的机器学习模型中时,这是我所做的:
# Create vectorizer for function to use
vectorizer = TfidfVectorizer()
# combine the numerical features with the TFIDF generated matrix
X = sp.sparse.hstack( (vectorizer.fit_transform(df.message),
df[['feature_1', 'feature_2']].values, vectorizer.fit_transform(df.text)),
format='csr')
现在,在打印 X 矩阵的形状时,我得到了 2x13,但是当我像这样检查 X_columsn 时:
X_columns = vectorizer.get_feature_names() + df[['feature_1', 'feature_2']].columns.tolist()
我没有得到语料库中的所有单词,它只给我带来了df.text
存在的单词,而其他特征属性没有df.message
中的df.message
。
['and', 'another', 'extra', 'is', 'text', 'this', 'feature_1', 'feature_2']
我怎样才能让 X 包含我所有的数据框功能!!
作为一般规则,在整个文本语料库上安装向量化器来计算词汇量,然后将所有文本转换为向量。
您要拟合向量化器两次,因此第二次调用fit_transform
覆盖第一次并相应地更新词汇表。 首先尝试拟合两个文本字段以计算整个语料库的词汇量,然后转换每个文本字段,如下所示:
from sklearn.feature_extraction.text import TfidfVectorizer
import scipy as sp
vectorizer = TfidfVectorizer()
vectorizer.fit(df.message.append(df.text))
X = sp.sparse.hstack( (vectorizer.transform(df.message),
df[['feature_1', 'feature_2']].values, vectorizer.transform(df.text)),
format='csr')
X_columns = vectorizer.get_feature_names() + df[['feature_1', 'feature_2']].columns.tolist()
这给了我:
X_columns
Out[51]: ['and', 'another', 'extra', 'is', 'more', 'text', 'the', 'this', 'feature_1', 'feature_2']
那是你追求的吗?
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.