在深度学习中是否可以在训练集的子集上进行训练以找到最佳超参数？

Question

这个问题是从 Stack Overflow 迁移过来的，因为它可以在 Cross Validated 上得到回答。 7 天前迁移。

在经典机器学习中，通过在一小部分训练集上训练不同配置来搜索超参数的情况并不少见。 通常，对于每组超参数，都会对一小部分训练集进行 k 折交叉验证。 然而，在深度学习中，模型通常非常需要数据。

所以，我的问题是，您认为在深度学习中是否仍然可以使用相同的策略？ 你的经验是什么？

Answer 1

是的，但正如您所注意到的，深度学习模型通常最适合大样本。 所以你的子集也需要很大。 如果数据不足，模型将表现不佳，并且无助于超参数调整。