Keras 自定义损失函数：访问当前输入模式

Question

在 Keras（带有 Tensorflow 后端）中，当前输入模式是否可用于我的自定义损失函数？

当前输入模式被定义为用于产生预测的输入向量。 例如，考虑以下内容： X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42, shuffle=False) 。 然后当前输入模式是与 y_train 关联的当前 X_train 向量（在损失函数中称为 y_true）。

在设计自定义损失函数时，我打算优化/最小化需要访问当前输入模式的值，而不仅仅是当前的预测。

我查看了https://github.com/fchollet/keras/blob/master/keras/losses.py

我还查看了“不仅仅是 y_pred、y_true 的成本函数？ ”

我也熟悉之前的示例来生成自定义损失函数：

import keras.backend as K

def customLoss(y_true,y_pred):
    return K.sum(K.log(y_true) - K.log(y_pred))

大概(y_true,y_pred)是在别处定义的。 我查看了源代码但没有成功，我想知道我是否需要自己定义当前输入模式，或者我的损失函数是否已经可以访问它。

Answer 1

您可以将损失函数包装为内部函数并将您的输入张量传递给它（通常在将附加参数传递给损失函数时这样做）。

def custom_loss_wrapper(input_tensor):
    def custom_loss(y_true, y_pred):
        return K.binary_crossentropy(y_true, y_pred) + K.mean(input_tensor)
    return custom_loss

input_tensor = Input(shape=(10,))
hidden = Dense(100, activation='relu')(input_tensor)
out = Dense(1, activation='sigmoid')(hidden)
model = Model(input_tensor, out)
model.compile(loss=custom_loss_wrapper(input_tensor), optimizer='adam')

您可以验证input_tensor和损失值（主要是K.mean(input_tensor)部分）会随着不同的X传递给模型而发生变化。

X = np.random.rand(1000, 10)
y = np.random.randint(2, size=1000)
model.test_on_batch(X, y)  # => 1.1974642

X *= 1000
model.test_on_batch(X, y)  # => 511.15466

Answer 2

您可以使用add_loss将外部层传递给您的损失，在您的情况下是输入张量。

这里有一个例子：

def CustomLoss(y_true, y_pred, input_tensor):
    return K.binary_crossentropy(y_true, y_pred) + K.mean(input_tensor)

X = np.random.uniform(0,1, (1000,10))
y = np.random.randint(0,2, 1000)

inp = Input(shape=(10,))
hidden = Dense(100, activation='relu')(inp)
out = Dense(1, activation='sigmoid')(hidden)
target = Input((1,))
model = Model([inp,target], out)

model.add_loss( CustomLoss( target, out, inp ) )
model.compile(loss=None, optimizer='adam')
model.fit(x=[X,y], y=None, epochs=3)

在推理模式下使用模型（从输入中删除目标）

final_model = Model(model.input[0], model.output)
final_model.predict(X)