[英]Combining feature sets using a MultinomialNB
这是有关功能集的一个非常基本的问题。
假设我有一群人,我想向他们提出各种建议。 他们还写了一段自由格式的文本,这对我需要向他们推荐的内容非常重要。
我可以理解如何对他们的示例文本进行矢量化处理,但不知道如何添加国籍,年龄,性别等特征。
所以我有这个:
#dbsession = sqlalchemy session
people = dbsession.query(People).filter(People.category!="inactive")
all_text = [(a.all_text, a.category) for a in people ]
vectorizer = TfidfVectorizer(sublinear_tf=True, max_df=0.5, stop_words='english')
X_train = vectorizer.fit_transform([x[0] for x in all_text])
y_train = ([x[1] for x in all_text])
classifier = MultinomialNB()
classifier.fit(X_train,y_train)
print("Training score: {0:.1f}%".format(classifier.score(X_train, y_train) * 100))
a = People.populate_from_db(dbsession,2309601) # this gives me the person I want to categorise
print a
sample_text = a.all_text
t_form = vectorizer.transform([sample_text])
probs = classifier.predict_proba(t_form)
for i,p in enumerate(probs[0]):
print "# ", classifier.classes_[i] , "%.2f %%" % (p*100)
(是的,我知道我不应该使用训练集中的一项进行测试,但是我只是先将代码运行,然后再将真实数据放入其中。)
现在,如果人员对象具有“国籍”之类的属性,那么将其添加到分类器的最佳方法是什么?
1)向向量添加其他字段的问题。
A)只需为要添加的每个对象创建一个新的X_train_extended,它的维数与X_train + 1相同。 复制值并将所需内容插入多余的空间
B)尝试使用scikit中的FeatureUnion为您做到这一点。
2)您的加入是否有意义? 在这种情况下-不。 对于MulinomialNB模型,存储数字“ age”没有意义。 无论如何,它都可能起作用,但是您应该意识到,您正在做的事情正在违反您尝试使用的模型的假设。
没有人可以告诉您应该使用哪种模型,因为我们没有数据,但是您应该了解您的模型是什么以及它的假设。 然后,您可以决定将这些附加功能的最佳形式放入模型中。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.