[英]General strategy for dealing with rare factor levels in classification?
假设我有一个这样的数据集:
breakfast lunch dinner mood
----------- ---------- --------- ------
waffles sandwich chili good
sausages sandwich pasta good
yogurt salad stew bad
gruel salad pizza bad
gruel pizza pizza good
sausages pizza pasta good
waffles salad chili good
gruel soup pizza bad
waffles soup chili good
sausages salad pasta good
waffles pizza chili good
yogurt sandwich stew good
yogurt pizza stew good
sausages soup pasta good
gruel sandwich pizza good
yogurt soup waffles good
我想根据一个人那天吃的东西来预测他们的情绪。 所以我会做一个 70/30 的训练/测试分割,并使用随机森林、SVM 或类似的东西来构建分类器。
至少在我过去使用过它们时,如果预测器在测试集中有一个没有出现在训练集中的水平,我使用过的分类器就会抱怨。 这可能发生在最后一行, dinner
== “华夫饼”。
为了避免这种情况,在进行拆分之前,我通常会删除任何列中频率低于 10% 的级别的任何行。
我怀疑可能有更好的方法。 我主要用 R 编写代码,但是如果您想用 Python 发布答案,我可能会理解它。
谢谢!
现在我知道了行话,我发现这篇文章有一个 R 用例: 分层拆分数据
应用于我的例子,对晚餐和由此产生的情绪进行分层:
library(splitstackshape)
library(readr)
meals_mood_text <- "breakfast lunch dinner mood
waffles sandwich chili good
sausages sandwich pasta good
yogurt soup waffles good
yogurt salad stew bad
gruel salad pizza bad
gruel pizza pizza good
sausages pizza pasta good
waffles salad chili good
gruel soup pizza bad
waffles soup chili good
sausages salad pasta good
waffles pizza chili good
yogurt sandwich stew good
yogurt pizza stew good
sausages soup pasta good
gruel sandwich pizza good"
meals_mood_frame <-
read.table(textConnection(meals_mood_text), header = TRUE)
closeAllConnections()
strat.res <- stratified(meals_mood_frame, c('dinner','mood'), 0.7, bothSets = TRUE)
print(strat.res[[1]])
print(strat.res[[2]])
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.