![](/img/trans.png)
[英]Is it possible to disable running average calculation in tf.layers.batch_normalization?
[英]Batch Normalization in tf.keras does not calculate average mean and average variance
類似的懸而未決的問題被問在這里 。 我正在測試一種深度強化學習算法,該算法在tensorflow中使用keras后端。 我對tf.keras不太熟悉,但是想添加批量規范化層。 因此,我嘗試使用tf.keras.layers.BatchNormalization()
,但它不更新平均均值和方差,因為update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
為空。
使用常規tf.layers.batch_normalization
似乎工作正常。 但是,因為完整的算法有點復雜, 我需要找到一種方法來使用tf.keras
。
標准tf
層batch_normed = tf.layers.batch_normalization(hidden, training=True)
更新平均值,因為update_ops
不為空:
[
<tf.Operation 'batch_normalization/AssignMovingAvg' type=AssignSub>,
<tf.Operation 'batch_normalization/AssignMovingAvg_1' type=AssignSub>,
<tf.Operation 'batch_normalization_1/AssignMovingAvg' type=AssignSub>,
<tf.Operation 'batch_normalization_1/AssignMovingAvg_1' type=AssignSub>
]
小例子, 不工作:
import tensorflow as tf
import numpy as np
tf.reset_default_graph()
graph = tf.get_default_graph()
tf.keras.backend.set_learning_phase(True)
input_shapes = [(3, )]
hidden_layer_sizes = [16, 16]
inputs = [
tf.keras.layers.Input(shape=input_shape)
for input_shape in input_shapes
]
concatenated = tf.keras.layers.Lambda(
lambda x: tf.concat(x, axis=-1)
)(inputs)
out = concatenated
for units in hidden_layer_sizes:
hidden = tf.keras.layers.Dense(
units, activation=None
)(out)
batch_normed = tf.keras.layers.BatchNormalization()(hidden, training=True)
#batch_normed = tf.layers.batch_normalization(hidden, training=True)
out = tf.keras.layers.Activation('relu')(batch_normed)
out = tf.keras.layers.Dense(
units=1, activation='linear'
)(out)
data = np.random.rand(100,3)
with tf.Session(graph=graph) as sess:
sess.run(tf.global_variables_initializer())
for i in range(10):
update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
sess.run(update_ops, {inputs[0]: data})
sess.run(out, {inputs[0]: data})
variables = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES,
scope='batch_normalization')
bn_gamma, bn_beta, bn_moving_mean, bn_moving_variance = [], [], [], []
for variable in variables:
val = sess.run(variable)
nv = np.linalg.norm(val)
if 'gamma' in variable.name:
bn_gamma.append(nv)
if 'beta' in variable.name:
bn_beta.append(nv)
if 'moving_mean' in variable.name:
bn_moving_mean.append(nv)
if 'moving_variance' in variable.name:
bn_moving_variance.append(nv)
diagnostics = {
'bn_Q_gamma': np.mean(bn_gamma),
'bn_Q_beta': np.mean(bn_beta),
'bn_Q_moving_mean': np.mean(bn_moving_mean),
'bn_Q_moving_variance': np.mean(bn_moving_variance),
}
print(diagnostics)
輸出如下(你可以看到moving_mean和moving_variance沒有變化):
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.0, 'bn_Q_moving_variance': 4.0}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.0, 'bn_Q_moving_variance': 4.0}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.0, 'bn_Q_moving_variance': 4.0}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.0, 'bn_Q_moving_variance': 4.0}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.0, 'bn_Q_moving_variance': 4.0}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.0, 'bn_Q_moving_variance': 4.0}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.0, 'bn_Q_moving_variance': 4.0}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.0, 'bn_Q_moving_variance': 4.0}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.0, 'bn_Q_moving_variance': 4.0}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.0, 'bn_Q_moving_variance': 4.0}
雖然預期的輸出類似於以下內容(使用tf.keras
使用batch_normed
演算評論該行並取消注釋下面的那個):
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.0148749575, 'bn_Q_moving_variance': 3.966927}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.029601166, 'bn_Q_moving_variance': 3.934192}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.04418011, 'bn_Q_moving_variance': 3.9017918}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.05861327, 'bn_Q_moving_variance': 3.8697228}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.0729021, 'bn_Q_moving_variance': 3.8379822}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.08704803, 'bn_Q_moving_variance': 3.8065662}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.10105251, 'bn_Q_moving_variance': 3.7754717}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.11491694, 'bn_Q_moving_variance': 3.7446957}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.12864274, 'bn_Q_moving_variance': 3.7142346}
{'bn_Q_gamma': 4.0, 'bn_Q_beta': 0.0, 'bn_Q_moving_mean': 0.14223127, 'bn_Q_moving_variance': 3.6840856}
即使使用tf.layers.batch_normalization
仍然有些可疑。 tf.control_dependencies
的標准tf
方法:
with tf.control_dependencies(update_ops):
sess.run(out, {inputs[0]: data})
我在上面的代碼中放置而不是以下兩行:
sess.run(update_ops, {inputs[0]: data})
sess.run(out, {inputs[0]: data})
產生bn_Q_moving_mean = 0.0
和bn_Q_moving_variance = 4.0
這是因為tf.keras.layers.BatchNormalization
繼承自tf.keras.layers.Layer
。 Keras API處理更新操作作為其擬合和評估循環的一部分。 這反過來意味着它不會在沒有它的情況下更新tf.GraphKeys.UPDATE_OPS
集合。
因此,為了使其工作,您需要手動更新它
hidden = tf.keras.layers.Dense(units, activation=None)(out)
batch_normed = tf.keras.layers.BatchNormalization(trainable=True)
layer = batch_normed(hidden)
這將創建單獨的類實例
tf.add_to_collection(tf.GraphKeys.UPDATE_OPS, batch_normed.updates)
這個更新需要收集。 另請查看https://github.com/tensorflow/tensorflow/issues/25525
tf.add_to_collection(tf.GraphKeys.UPDATE_OPS, bn1.updates[0])
tf.add_to_collection(tf.GraphKeys.UPDATE_OPS, bn1.updates[1])
updates_op = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
這可以解決
tf.control_dependencies(update_ops)
錯誤問題。
如果使用
tf.add_to_collection(tf.GraphKeys.UPDATE_OPS, batch_normed.updates)
回歸
tf.get_collection(tf.GraphKeys.UPDATE_OPS)
列表中的列表就像[[something]]一樣
並使用
tf.add_to_collection(tf.GraphKeys.UPDATE_OPS, bn1.updates[0])
tf.add_to_collection(tf.GraphKeys.UPDATE_OPS, bn1.updates[1])
updates_op = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
回歸
tf.get_collection(tf.GraphKeys.UPDATE_OPS)
是[something1,something2,...]
我認為這是解決方案。
但是輸出是不同的,我不知道哪個是真的。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.