如何在 keras 中为损失函数实现 ssim？

Question

我需要 SSIM 作为我网络中的损失函数，但我的网络有 2 个输出。 我需要将 SSIM 用于第一个输出，并为下一个输出使用cross-entropy 。 损失函数是它们的组合。 但是，我需要更高的 SSIM 和更低的cross-entropy ，所以我认为它们的组合是不正确的。 另一个问题是我在 keras 中找不到 SSIM 的实现。

Tensorflow 有tf.image.ssim ，但它接受图像，我认为我不能在损失函数中使用它，对吧？ 你能告诉我我该怎么办吗？ 我是 keras 和深度学习的初学者，我不知道如何将 SSIM 作为 keras 中的自定义损失函数。

Answer 1

在此处查看Keras中的SSIM丢失。 您可以编写自定义损失函数，并为一种预测创建SSIM损失，为另一种预测创建交叉熵。 您可以返回两个损失的加权和作为最终损失。

Answer 2

其他选择是ssim_loss = 1 - tf.reduce_mean(tf.image.ssim(target, output, max_val=self.max_val))

然后combine_loss = mae (or mse) + ssim_loss这样，你就最小化了它们。