L2矩陣逐行歸一化梯度

Question

我試圖為卷積神經網絡實現L2范數層，並且陷入了向后的障礙：

def forward(self, inputs):
    x, = inputs
    self._norm = np.expand_dims(np.linalg.norm(x, ord=2, axis=1), axis=1)
    z = np.divide(x, self._norm)
    return z,

def backward(self, inputs, grad_outputs):
    x, = inputs
    gz, = grad_outputs
    gx = None # how to compute gradient here?
    return gx,

如何計算gx？ 我的第一個猜測是

gx = - gz * x / self._norm**2

但這似乎是錯誤的。

Answer 1

正確的答案是

gx = np.divide(gz, self._norm)