如何反向批量归一化

Question

在回归网络中，我想对目标y使用批量归一化以获得适合的y_norm 。 因为y_norm分布良好。

在训练后的测试阶段，我需要“撤消”对预测的y_norm的批量归一化。 在 tensorflow/keras 中有什么优雅的方法可以从原始 BN 层构造一个“撤消”层吗？

Answer 1

我发现该层有两种方法：执行规范化的inverse()和执行反规范化的forward() 。 因此，在训练中您应该使用inverse方法并在推理中使用forward方法。