使用TensorFlow和Keras防止转移学习中的过度拟合

Question

我有一个TensorFlow 2型号，带有来自TensorFlow Hub的预训练Keras层。 我想微调这个子模型中的权重以适应我的数据集，但是如果我通过设置trainable=True和training=True来天真地做，那么我的模型将非常适合。

如果我在我的控制下有底层模型的实际层，我会插入dropout图层或在这些单独的图层上设置L2系数。 但是使用TensorFlow Hub KerasLayer方法将图层导入到我的网络中。 另外，我怀疑底层模型非常复杂。

我想知道解决这类问题的标准做法是什么。

也许有办法以某种方式强制正规化到整个网络？ 我知道在TensorFlow 1中，有像ProximalAdagradOptimizer这样的优化器采用了L2系数。 在TensorFlow 2中，像这样的唯一优化器是FTRL ，但是我很难使它适用于我的数据集。

Answer 1

我“解决”了它

• 预训练模型的非转移部分，
• 然后开始学习共享层，
• 引入早期停止，
• 并配置优化器变得非常慢。

这样，我设法不会过多地损坏转移的层。 无论如何，我仍然想知道这是否是最好的。