如何反向批量歸一化

Question

在回歸網絡中，我想對目標y使用批量歸一化以獲得適合的y_norm 。 因為y_norm分布良好。

在訓練后的測試階段，我需要“撤消”對預測的y_norm的批量歸一化。 在 tensorflow/keras 中有什么優雅的方法可以從原始 BN 層構造一個“撤消”層嗎？

Answer 1

我發現該層有兩種方法：執行規范化的inverse()和執行反規范化的forward() 。 因此，在訓練中您應該使用inverse方法並在推理中使用forward方法。