在深度學習中是否可以在訓練集的子集上進行訓練以找到最佳超參數？

Question

這個問題是從 Stack Overflow 遷移過來的，因為它可以在 Cross Validated 上得到回答。 7 天前遷移。

在經典機器學習中，通過在一小部分訓練集上訓練不同配置來搜索超參數的情況並不少見。 通常，對於每組超參數，都會對一小部分訓練集進行 k 折交叉驗證。 然而，在深度學習中，模型通常非常需要數據。

所以，我的問題是，您認為在深度學習中是否仍然可以使用相同的策略？ 你的經驗是什么？

Answer 1

是的，但正如您所注意到的，深度學習模型通常最適合大樣本。 所以你的子集也需要很大。 如果數據不足，模型將表現不佳，並且無助於超參數調整。