具有平均功率约束的层归一化

Question

我正在研究“物理层深度学习入门”一文。 在使用python Keras实现拟议的网络时，我应该标准化一些值，即前一层的输出。
一种方法是简单的L2归一化，|| X || ^ 2 = 1，其中X是前一层输出的张量。
作为代码

from keras import backend as K
Lambda(lambda x: K.l2_normalize(x,axis=1))

我想知道的另一种方式是|| X || ^ 2≤1。
有什么方法可以限制图层输出的值？

Answer 1

我解决了！
通过使用“批处理规范化”可以轻松实现该规范化。