線性回歸與隨機森林性能精度

Question

如果數據集包含某些特征，其中一些是分類變量，而另一些則是連續變量，則決策樹比線性回歸要好，因為樹可以根據分類變量准確地划分數據。 在任何情況下，線性回歸的表現都優於隨機森林嗎？

Answer 1

肯定存在線性回歸優於隨機森林的情況，但我認為要考慮的更重要的事情是模型的復雜性。

線性模型的參數很少，隨機森林的參數更多。 這意味着與線性回歸相比，隨機森林更容易過度擬合。

Answer 2

與基於樹的模型相比，線性模型的主要優點是：

• 他們可以推斷（例如，如果標簽在火車組中介於1-5之間，則基於樹的模型永遠不會預測10，而線性會預測）
• 由於外推法可用於異常檢測
• 可解釋性（是的，基於樹的模型具有功能重要性，但這只是一個代理，線性模型中的權重更好）
• 需要較少的數據以獲得良好的結果
• 具有強大的在線學習工具（Vowpal Wabbit），這對於使用具有很多功能（例如文本）的巨型數據集至關重要