CIFAR-10 python 架构

Question

我在这里关注本教程。

model = Sequential()
model.add(Conv2D(32, (3, 3), activation='relu', kernel_initializer='he_uniform', padding='same', input_shape=(32, 32, 3)))
model.add(Conv2D(32, (3, 3), activation='relu', kernel_initializer='he_uniform', padding='same'))
model.add(MaxPooling2D((2, 2)))
model.add(Conv2D(64, (3, 3), activation='relu', kernel_initializer='he_uniform', padding='same'))
model.add(Conv2D(64, (3, 3), activation='relu', kernel_initializer='he_uniform', padding='same'))
model.add(MaxPooling2D((2, 2)))
model.add(Conv2D(128, (3, 3), activation='relu', kernel_initializer='he_uniform', padding='same'))
model.add(Conv2D(128, (3, 3), activation='relu', kernel_initializer='he_uniform', padding='same'))
model.add(MaxPooling2D((2, 2)))

model.add(Flatten())
model.add(Dense(128, activation='relu', kernel_initializer='he_uniform'))
model.add(Dense(10, activation='softmax'))

我试图理解使用 CIFAR-10 数据集的给定代码。

• 为什么他使用kernel_initializer='he_uniform'?

• 他为什么选择128作为密层？

• 如果我们向代码中添加更密集的层会发生什么，例如：
  model.add(Dense(512, activation='relu', kernel_initializer='he_uniform'))

• 有没有办法提高模型的准确性？

• 什么是合适的辍学率？

Answer 1

为什么他使用kernel_initializer='he_uniform' ？

神经网络层中的权重是随机初始化的。 怎么办？ 他们应该遵循哪种分布？ he_uniform是一种初始化该层权重的策略。

他为什么选择128作为密层？

这是随意选择的。

如果我们在代码中添加更密集的层会发生什么：
model.add(Dense(512, activation='relu', kernel_initializer='he_uniform'))

我认为您的意思是将它们添加到另一个 128 神经元密集层所在的位置（在那里它不会破坏模型）模型将变得更深，并且具有更多数量的参数（即您的模型将变得更加复杂），无论积极或消极伴随着这一点。

什么是合适的辍学率？

通常您会看到 [0.2, 0.5] 范围内的比率。 较高的速率会减少过拟合，但可能会导致训练变得更加不稳定。