張量流中的可訓練參數是什么？

Question

tf.compat.v1.layers.batch_normalization以trainable作為輸入。 該文件說：

布爾值，如果為True，則還將變量添加到圖形集合GraphKeys.TRAINABLE_VARIABLES（請參閱tf.Variable）。

我認為應該僅將比例因子（gamma）和偏移量（beta）添加到可訓練變量中，並且我懷疑是否將移動平均數也添加到了GraphKeys.TRAINABLE_VARIABLES中。 有人可以告訴我可訓練的輸入如何影響batch_normalization的行為

Answer 1

首先，這個功能過時 ，不應該被使用。

trainable參數意味着比例因子（gamma）和偏移量（beta）將是可訓練的，並且默認情況下為true。

當涉及移動平均線時，那些是不可訓練的 ，它們只會在每次批處理通過之后才更新，而並非參數（ tf.Variable對象）。

請注意，您可以將trainable設置為false，在這種情況下，如果將beta和gamma設置為默認值（分別為零和一），它們將不會影響移動平均線。 您可以通過發出center （對於beta ）或scale （對於gamma ）來關閉它們。