決策樹/樹樁與Adaboost

Question

我剛剛開始使用Adaboost學習決策樹，並正在OpenCV上進行嘗試並有一些疑問。

增強決策樹

我了解當我將Adaboost與決策樹配合使用時，我會不斷使決策樹適合培訓數據的加權版本。 分類以加權多數票進行

在使用Adaboost訓練決策樹時，我可以改用Bootstrapping嗎？ 也就是說，在將分類器輸入Adaboost之前，我們選擇數據集的子集並在每個子集上訓練樹。

助推決策樹樁

我是否對決策樹樁使用相同的技術？ 還是我可以創建等於要素數量的樹樁？ 即，如果我有兩個具有10個功能的類，則在將分類器輸入Adaboost之前，我會為每個功能總共創建10個決策樹。

Answer 1

AdaBoost不僅在不同的子集中訓練分類器，而且還根據達到的組裝性能來調整數據集元素的權重。 詳細說明可以在這里找到。

是的，您可以使用相同的技術來訓練決策樹樁。 該算法大致如下：

1. 在無權重的初始數據集上訓練決策樹樁（與權重= 1的每個元素相同）。
2. 使用AdaBoost算法中的公式更新所有元素的權重。 正確分類的元素的權重應該變小，而錯誤分類的元素的權重應該變大。
3. 使用當前權重訓練決策樹樁。 也就是說，不僅要最小化此決策樹樁所犯的錯誤數量，還應最小化錯誤權重的總和。
4. 如果沒有達到所需的質量，請轉到pt。 2。