如何在训练期间修改每个时期的损失函数内的变量？

Question

我有一个自定义损失函数。 在每个时代，我想随机保留或丢弃我的输入矩阵：

import random
from tensorflow.python.keras import backend
def decision(probability):
     return random.random() < probability

def my_throw_loss_in1(y_true, y_pred):
     if decision(probability=0.5):
         keep_mask = tf.ones_like(in1)
         total_loss = backend.mean(backend.square(y_true- y_pred)) * keep_mask
         print('Input1 is kept')
     else:
         throw_mask = tf.zeros_like(in1)
         total_loss =  backend.mean(backend.square(y_true- y_pred)) * throw_mask
         print('Input1 is thrown away')
     return total_loss


model.compile(loss= [ my_throw_loss_in1], 
          optimizer='Adam', 
          metrics=['mae'])

history2 = model.fit([x, y], batch_size=10, epochs=150, validation_split=0.2, shuffle=True)

但这只会设置决策值一次，并且不会编译每个时期的损失。 如何编写一个可以在每个时期修改其变量的损失函数？

这里有一些想法：

1. 我的第一个猜测是编写一个回调来将参数传递给损失函数，但到目前为止我没有成功，基本上我不清楚当我从回调中返回一个值时，我该如何将该值传递给损失函数?

或者

2. 另一种方法是在回调中编写损失函数，但是我将什么作为参数传递给回调？ 以及如何在回调中使用损失函数编译模型？

损失函数基于这篇文章。

Answer 1

只需按如下方式更改您的损失函数，以便在调用fit(*)时对其进行评估：

def my_throw_loss_in1(y_true, y_pred):

  probability = 0.5
  random_uniform = tf.random.uniform(shape=[], minval=0., maxval=1., dtype=tf.float32)
  condition = tf.less(random_uniform, probability)
  mask = tf.cond(condition, lambda: tf.ones_like(y_true), lambda: tf.zeros_like(y_true))

  total_loss = tf.keras.backend.mean(tf.keras.backend.square(y_true - y_pred)* mask) 
  tf.print(mask)
  return total_loss

首先生成一个随机数，然后根据这个数字创建一个条件（小于你定义的概率的随机数）。 之后，如果您的条件为True ，则只需使用tf.cond返回tf.ones_like ，否则tf.zeros_like 。 最后，面具只是简单地应用于你的损失。