BatchNorm動量約定PyTorch

Question

Batchnorm動量約定 （默認值= 0.1）是否正確，如在其他庫中，例如Tensorflow，默認情況下通常為0.9或0.99？ 或許我們只是使用不同的約定？

Answer 1

似乎pytorch中的參數化約定與tensorflow中的參數化約定不同，因此pytorch中的0.1相當於張量流中的0.9。

更確切地說：

在Tensorflow中：

running_mean = decay*running_mean + (1-decay)*new_value

在PyTorch中：

running_mean = (1-decay)*running_mean + decay*new_value

這意味着PyTorch中的decay值等於Tensorflow中的(1-decay)值。