![](/img/trans.png)
[英]Tensorflow Dropout: What happens if I apply two dropout layers?
[英]What layers are affected by dropout layer in Tensorflow?
考虑迁移学习以便在 keras/tensorflow 中使用预训练模型。 对于每个旧层, trained
参数设置为false
以便在训练期间不更新其权重,而最后一层已被新层替换,并且必须进行训练。 特别是增加了两个全连接隐藏层,分别有512
和1024
神经元和 relu 激活函数。 在这些层之后,使用rate
0.2
的 Dropout 层。 这意味着在每个训练时期, 20%
的神经元被随机丢弃。
这个 dropout 层会影响哪些层? 它是否会影响所有网络,包括设置了layer.trainable=false
的预训练层,还是只影响新添加的层? 还是只影响前一层(即具有1024
神经元的层)?
换句话说,在每个时期被 dropout 关闭的神经元属于哪一层?
import os
from tensorflow.keras import layers
from tensorflow.keras import Model
from tensorflow.keras.applications.inception_v3 import InceptionV3
local_weights_file = 'weights.h5'
pre_trained_model = InceptionV3(input_shape = (150, 150, 3),
include_top = False,
weights = None)
pre_trained_model.load_weights(local_weights_file)
for layer in pre_trained_model.layers:
layer.trainable = False
# pre_trained_model.summary()
last_layer = pre_trained_model.get_layer('mixed7')
last_output = last_layer.output
# Flatten the output layer to 1 dimension
x = layers.Flatten()(last_output)
# Add two fully connected layers with 512 and 1,024 hidden units and ReLU activation
x = layers.Dense(512, activation='relu')(x)
x = layers.Dense(1024, activation='relu')(x)
# Add a dropout rate of 0.2
x = layers.Dropout(0.2)(x)
# Add a final sigmoid layer for classification
x = layers.Dense (1, activation='sigmoid')(x)
model = Model( pre_trained_model.input, x)
model.compile(optimizer = RMSprop(lr=0.0001),
loss = 'binary_crossentropy',
metrics = ['accuracy'])
dropout层会影响上一层的输出。
如果我们查看代码的特定部分:
x = layers.Dense(1024, activation='relu')(x)
# Add a dropout rate of 0.2
x = layers.Dropout(0.2)(x)
# Add a final sigmoid layer for classification
x = layers.Dense (1, activation='sigmoid')(x)
在您的情况下,由x = layers.Dense(1024, activation='relu')(x)
定义的层的 20% 输出将被随机丢弃,然后再传递到最终的Dense
层。
只有前一层的神经元被“关闭”,但所有层在反向传播方面都“受到影响”。
Dropout(rate=1)
的极端情况下,零梯度将流动。 另外,请注意,只有在 Dense 的输入是 2D (batch_size, features)
,才会删除整个神经元; Dropout 对所有维度应用随机统一掩码(相当于在 2D 情况下删除整个神经元)。 要删除整个神经元,请设置Dropout(.2, noise_shape=(batch_size, 1, features))
(3D 情况)。 要在所有样本中删除相同的神经元,请使用noise_shape=(1, 1, features)
(或(1, features)
用于 2D)。
Dropout 技术不是在神经网络中的每一层都实现; 它通常在网络最后几层的神经元中使用。
该技术的工作原理是随机减少神经网络中互连神经元的数量。 在每一个训练步骤中,每个神经元都有可能被排除在外,或者更确切地说,从连接的神经元的整理贡献中被剔除
关于 dropout 应该放在激活函数之前还是之后存在一些争论。 根据经验,对于除relu
之外的所有激活函数,将relu
activate 函数之后。
您可以添加dropout
每隐藏层后,一般就只影响在先前层(你的情况下,它会影响(x = layers.Dense(1024, activation='relu')(x) )
在Hinton (2012)提出的 dropout 层的原始论文中,在输出之前的每个全连接(密集)层上都使用了 dropout(p=0.5); 它没有用于卷积层。 这成为最常用的配置。
我正在添加可能对您有帮助的资源链接:
https://towardsdatascience.com/dropout-on-convolutional-layers-is-weird-5c6ab14f19b2
https://towardsdatascience.com/machine-learning-part-20-dropout-keras-layers-explained-8c9f6dc4c9ab
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.