h2o GBM提前停止

Question

我正在嘗試用h2o過度適合GBM（我知道這很奇怪，但是我需要指出這一點）。 因此，我增加了樹木的max_depth和收縮率，並禁用了停止標准：

overfit <- h2o.gbm(y=response
                  , training_frame = tapp.hex
                  , ntrees = 100 
                  , max_depth = 30 
                  , learn_rate = 0.1 
                  , distribution = "gaussian"
                  , stopping_rounds = 0
                  , distribution = "gaussian"
                  )

過度擬合的效果很好，但是我注意到在第64棵樹之后，訓練錯誤並沒有改善。 你知道為什么嗎 ？ 如果我了解足夠好的加速的概念，則隨着樹的數量增加，訓練誤差應該收斂到0。

我的數據信息：大約100萬個觀測值10個變量響應變量是定量的。

祝你有美好的一天 ！

Answer 1

如果0.1的學習率對您不起作用，我建議降低學習率，例如0.01或0.001。 盡管您指出訓練錯誤在樹64之后停止減少，但是我仍然建議嘗試添加更多樹，至少1000-5000，特別是如果您嘗試降低學習速度時。

Answer 2

您是否嘗試降低min_split_improvement參數？ 1e-5的默認值已經很微小了，但是當有一百萬行時卻是相關的。 我猜第64棵樹（在您的示例中）將是無關緊要的？