如何理解/调试/可视化 U-Net 分割结果

Question

我正在训练一个 U-Net 架构来执行分割任务。 这是在 Python 中使用 Keras。 我现在遇到了一个问题，我试图理解：

我有两张来自显微镜图像系列的非常相似的图像（这些是连续图像），其中我当前的 U-Net model 在一张上表现非常好，但在紧随其后的一张上表现极差。 但是，两者在眼睛上几乎没有区别，直方图看起来也非常相似。 同样在其他测量中，model 在整个帧范围内表现出色，但随后在其他测量中出现此问题。

我在训练期间使用数据增强（直方图拉伸、仿射变换、噪声添加），我很惊讶 model 仍然如此脆弱。

由于 U-Net 对我来说仍然主要是一个黑盒，我想找出我可以采取的步骤来更好地理解这个问题，然后相应地调整训练/模型。

我知道有一些方法可以可视化各个层的学习内容（例如，如 F. Chollets 书中所讨论的， 请参见此处），我应该能够将这些应用于完全卷积的 U-Net。

然而，这些方法实际上总是在分类网络的 realm 中讨论 - 而不是语义分割。

所以我的问题是：

这是了解 U-Net 模型如何获得分割结果的最佳/最直接的方法吗？ 如果不是，有什么更好的方法来理解/调试 U-Net？

Answer 1

我建议您在 NGC https://ngc.nvidia.com/catalog/resources/nvidia:unet_industrial_for_tensorflow上使用 U-Net 容器我还建议您阅读以下内容：混合精度训练： Z5E056C500A1C4B6A7110B50D807BADEorg5Zabsiv//arxiv。 https://developer.nvidia.com/blog/mixed-precision-training-deep-neural-networks/

让我知道你的进展情况，如果有任何公开回购，很高兴看看