Python分类定义功能重要性

Question

我想知道是否可以在Pyhton分类方法中定义特征的重要性/权重？ 例如：

model = tree.DecisionTreeClassifier(feature_weight = ...) 

我在RandomForest中看到了一个特性feature_importance，它根据分析显示了特性的重要性。 但是是否可以事先定义特征重要性以进行分析？

非常感谢您的提前帮助！

Answer 1

随机森林分类器中的特征重要性确定使用特定于森林的随机方法（对特征进行所有二进制测试求逆，并获得附加的分类错误）。

因此，特征重要性是一个与模型的预测能力有关的概念，而不是与训练阶段有关的概念。 现在，如果要使模型更喜欢某些功能而不是其他功能，则必须找到一些取决于模型的技巧。

关于sklearn的DecisionTreeClassifier ，这样的技巧似乎并不简单。 如果您知道某些类别可以通过您希望使用的某些功能更容易预测，则可以自定义类别权重； 但这似乎很脏。

在其他类型的模型中（例如使用内核的模型），可以通过设置与要素直接相关的超参数来更轻松地完成此操作。

如果您想限制过度拟合，我也只是建议您删除不那么重要的功能。