Python分類定義功能重要性

Question

我想知道是否可以在Pyhton分類方法中定義特征的重要性/權重？ 例如：

model = tree.DecisionTreeClassifier(feature_weight = ...) 

我在RandomForest中看到了一個特性feature_importance，它根據分析顯示了特性的重要性。 但是是否可以事先定義特征重要性以進行分析？

非常感謝您的提前幫助！

Answer 1

隨機森林分類器中的特征重要性確定使用特定於森林的隨機方法（對特征進行所有二進制測試求逆，並獲得附加的分類錯誤）。

因此，特征重要性是一個與模型的預測能力有關的概念，而不是與訓練階段有關的概念。 現在，如果要使模型更喜歡某些功能而不是其他功能，則必須找到一些取決於模型的技巧。

關於sklearn的DecisionTreeClassifier ，這樣的技巧似乎並不簡單。 如果您知道某些類別可以通過您希望使用的某些功能更容易預測，則可以自定義類別權重； 但這似乎很臟。

在其他類型的模型中（例如使用內核的模型），可以通過設置與要素直接相關的超參數來更輕松地完成此操作。

如果您想限制過度擬合，我也只是建議您刪除不那么重要的功能。