GradientBoostingClassifier 的特征重要性是如何計算的

Question

我正在使用 scikit-learn 的梯度提升樹分類器GradientBoostingClassifier 。 它使feature_importances_特征重要性評分可用。 這些特征重要性是如何計算的？

我想了解 scikit-learn 正在使用什么算法，以幫助我了解如何解釋這些數字。 該算法未在文檔中列出。

Answer 1

這在 scikit-learn 文檔的其他地方有記錄。 特別是，它是如何工作的：

對於每棵樹，我們將特征 F 的特征重要性計算為將遍歷基於特征 F 分裂的節點的樣本的分數（參見此處）。 然后，我們平均在所有的樹木（如描述的那些數字在這里）。

沒有准確描述 scikit-learn 如何估計將遍歷在特征 F 上分裂的樹節點的節點的分數。

解釋：分數將在 [0,1] 范圍內。 分數越高意味着該功能越重要。 這是一個形狀為 (n_features,) 的數組，其值為正且總和為 1.0