[英]Extracting the dropout mask from a keras dropout layer?
我想在训练时从每个批次的顺序 Keras model 中的丢失层中提取和存储丢失掩码 [1/0 数组]。 我想知道在 Keras 中是否有直接的方法来执行此操作,或者我是否需要切换到 tensorflow ( 如何在 Tensorflow 中获取辍学掩码)。
将不胜感激任何帮助。 我对 TensorFlow 和 Keras 很陌生。
我尝试使用的 dropout 层有几个函数(dropout_layer.get_output_mask()、dropout_layer.get_input_mask()),但在调用前一层后None
。
model = tf.keras.Sequential()
model.add(tf.keras.layers.Flatten(name="flat", input_shape=(28, 28, 1)))
model.add(tf.keras.layers.Dense(
512,
activation='relu',
name = 'dense_1',
kernel_initializer=tf.keras.initializers.GlorotUniform(seed=123),
bias_initializer='zeros'))
dropout = tf.keras.layers.Dropout(0.2, name = 'dropout') #want this layer's mask
model.add(dropout)
x = dropout.output_mask
y = dropout.input_mask
model.add(tf.keras.layers.Dense(
10,
activation='softmax',
name='dense_2',
kernel_initializer=tf.keras.initializers.GlorotUniform(seed=123),
bias_initializer='zeros'))
model.compile(...)
model.fit(...)
它在 Keras 中不容易暴露。 它会深入到调用 Tensorflow dropout。
因此,尽管您使用的是 Keras,但它也将是图中的一个张量,可以通过名称获取(找到它的名称: 在 Tensorflow,获取图中所有张量的名称)。
这个选项当然会缺少一些 keras 信息,您可能必须在 Lambda 层内执行此操作,因此 Keras 将某些信息添加到张量。 而且您必须格外小心,因为即使不训练(跳过掩码),张量也会存在
现在,您还可以使用不那么 hacky 的方式,这可能会消耗一些处理:
def getMask(x):
boolMask = tf.not_equal(x, 0)
floatMask = tf.cast(boolMask, tf.float32) #or tf.float64
return floatMask
使用Lambda(getMasc)(output_of_dropout_layer)
但不是使用Sequential
model,您将需要一个功能 API Model
。
inputs = tf.keras.layers.Input((28, 28, 1))
outputs = tf.keras.layers.Flatten(name="flat")(inputs)
outputs = tf.keras.layers.Dense(
512,
# activation='relu', #relu will be a problem here
name = 'dense_1',
kernel_initializer=tf.keras.initializers.GlorotUniform(seed=123),
bias_initializer='zeros')(outputs)
outputs = tf.keras.layers.Dropout(0.2, name = 'dropout')(outputs)
mask = Lambda(getMask)(outputs)
#there isn't "input_mask"
#add the missing relu:
outputs = tf.keras.layers.Activation('relu')(outputs)
outputs = tf.keras.layers.Dense(
10,
activation='softmax',
name='dense_2',
kernel_initializer=tf.keras.initializers.GlorotUniform(seed=123),
bias_initializer='zeros')(outputs)
model = Model(inputs, outputs)
model.compile(...)
model.fit(...)
由于您无法训练掩码(它没有任何意义),因此它不应该是用于训练的 model 的 output。
现在,我们可以试试这个:
trainingModel = Model(inputs, outputs)
predictingModel = Model(inputs, [output, mask])
但是预测中不存在掩码,因为 dropout 仅应用于训练。 所以这最终不会给我们带来任何好处。
训练的唯一方法是使用虚拟损失和虚拟目标:
def dummyLoss(y_true, y_pred):
return y_true #but this might evoke a "None" gradient problem since it's not trainable, there is no connection to any weights, etc.
model.compile(loss=[loss_for_main_output, dummyLoss], ....)
model.fit(x_train, [y_train, np.zeros((len(y_Train),) + mask_shape), ...)
不能保证这些会起作用。
通过简单地扩展提供的 dropout 层,我找到了一种非常 hacky 的方法。 (几乎所有来自TF的代码。)
class MyDR(tf.keras.layers.Layer):
def __init__(self,rate,**kwargs):
super(MyDR, self).__init__(**kwargs)
self.noise_shape = None
self.rate = rate
def _get_noise_shape(self,x, noise_shape=None):
# If noise_shape is none return immediately.
if noise_shape is None:
return array_ops.shape(x)
try:
# Best effort to figure out the intended shape.
# If not possible, let the op to handle it.
# In eager mode exception will show up.
noise_shape_ = tensor_shape.as_shape(noise_shape)
except (TypeError, ValueError):
return noise_shape
if x.shape.dims is not None and len(x.shape.dims) == len(noise_shape_.dims):
new_dims = []
for i, dim in enumerate(x.shape.dims):
if noise_shape_.dims[i].value is None and dim.value is not None:
new_dims.append(dim.value)
else:
new_dims.append(noise_shape_.dims[i].value)
return tensor_shape.TensorShape(new_dims)
return noise_shape
def build(self, input_shape):
self.noise_shape = input_shape
print(self.noise_shape)
super(MyDR,self).build(input_shape)
@tf.function
def call(self,input):
self.noise_shape = self._get_noise_shape(input)
random_tensor = tf.random.uniform(self.noise_shape, seed=1235, dtype=input.dtype)
keep_prob = 1 - self.rate
scale = 1 / keep_prob
# NOTE: if (1.0 + rate) - 1 is equal to rate, then we want to consider that
# float to be selected, hence we use a >= comparison.
self.keep_mask = random_tensor >= self.rate
#NOTE: here is where I save the binary masks.
#the file grows quite big!
tf.print(self.keep_mask,output_stream="file://temp/droput_mask.txt")
ret = input * scale * math_ops.cast(self.keep_mask, input.dtype)
return ret
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.