我可以做些什么来帮助我的 TensorFlow.network 过度拟合大型数据集？

Question

我特别尝试过拟合的原因是因为我正在按照 François Chollet 的“Deep Learning with Python”步骤来设计 a.network。 这很重要，因为这是我学位课程的最终项目。

在此阶段，我需要使 a.network 足够大以过度拟合我的数据，以确定最大容量，即我将优化的 .networks 大小的上限。

然而，正如标题所暗示的，我正在努力让 my.network 过拟合。 也许我的方法很幼稚，但让我解释一下我的 model：

我正在使用这个数据集来训练一个 model 来对星星进行分类。 一颗恒星必须按两类分类（分为两类）：它的光谱 class（100 类）和光度 class（10 类）。 例如，我们的太阳是“G2V”，它的光谱 class 是“G2”，它的光度 class 是“V”。

为此，我构建了一个double-headed.network，它接受这个输入数据： DataFrame包含输入数据

然后它分裂成两个 parallel.networks。

# Create our input layer:
input = keras.Input(shape=(3), name='observation_data')

# Build our spectral class
s_class_branch = layers.Dense(100000, activation='relu', name = 's_class_branch_dense_1')(input)
s_class_branch = layers.Dense(500, activation='relu', name = 's_class_branch_dense_2')(s_class_branch)

# Spectral class prediction
s_class_prediction = layers.Dense(100, 
                                  activation='softmax', 
                                  name='s_class_prediction')(s_class_branch)

# Build our luminosity class
l_class_branch = layers.Dense(100000, activation='relu', name = 'l_class_branch_dense_1')(input)
l_class_branch = layers.Dense(500, activation='relu', name = 'l_class_branch_dense_2')(l_class_branch)

# Luminosity class prediction
l_class_prediction = layers.Dense(10, 
                                  activation='softmax', 
                                  name='l_class_prediction')(l_class_branch)

# Now we instantiate our model using the layer setup above
scaled_model = Model(input, [s_class_prediction, l_class_prediction])

optimizer = keras.optimizers.RMSprop(learning_rate=0.004)

scaled_model.compile(optimizer=optimizer,
              loss={'s_class_prediction':'categorical_crossentropy',
                    'l_class_prediction':'categorical_crossentropy'},
              metrics=['accuracy'])

logdir = os.path.join("logs", "2raw100k")
tensorboard_callback = tf.keras.callbacks.TensorBoard(logdir, histogram_freq=1)

scaled_model.fit(
    input_data,{
        's_class_prediction':spectral_targets,
        'l_class_prediction':luminosity_targets
        },
    epochs=20, 
    batch_size=1000,
    validation_split=0.0,
    callbacks=[tensorboard_callback])

在上面的代码中，您可以看到我尝试在两个分支中使用两个隐藏层的 model，一层的形状为 100 000，然后进入另一层 500，然后进入 output 层。 训练目标是 one-hot 编码的，所以每个 class 都有一个节点。

我已经尝试了具有 1 到 4 个隐藏层的各种尺寸，从 500 到 100 000 的形状，只是因为我用完了 RAM 才停止。 我只使用了密集层，但尝试使用归一化层不受影响。

损失图

他们都会愉快地训练并慢慢降低损失，但他们似乎永远不会过拟合。 我已经运行了 100 个 epochs 的 run.networks，它们仍然不会过度拟合。

我该怎么做才能使 my.network 更好地拟合数据？ 我对机器学习还很陌生，现在只做了一年，所以我确信我缺少一些东西。 我非常感谢任何帮助，并且很乐意提供图中显示的日志。

Answer 1

好吧，经过更多的培训，我想我已经回答了这个问题。 基本上，.network 没有足够的容量，需要更多的层。 我之前尝试了更多层，但因为我没有将它与验证数据进行比较，所以过拟合并不明显！

证据就在布丁里。

所以感谢@Aryagm 的评论，因为这让我解决了这个问题。 如您所见，验证数据（灰色和蓝色）明显过拟合，而训练数据（绿色和橙色）没有显示出来。

如果有的话，这说明了为什么单独的验证集如此重要，而我一开始就没有使用它是个傻瓜。 学过的知识。