将 tf.contrib.layers.xavier_initializer() 更改为 2.0.0

Question

我该如何改变

tf.contrib.layers.xavier_initializer()

到 tf 版本 >= 2.0.0 ??

所有代码：

W1 = tf.get_variable("W1", shape=[self.input_size, h_size],
                             initializer=tf.contrib.layers.xavier_initializer())

Answer 1

tf.contrib.layers.xavier_initializer()的 TF2 替换是tf.keras.initializers.glorot_normal （Xavier 和 Glorot 是同一个初始化算法的两个名称） 文档链接。

如果tf.compat.v1.keras.initializers.glorot_normal由于某些兼容性原因很重要 - 使用tf.compat.v1.keras.initializers.glorot_normal

Answer 2

只是为了稍微澄清@poe-dator的答案：使用 TF slim 的tf.contrib.layers.xavier_initializer()不带任何参数，返回均匀分布的权重（ 默认设置为uniform=True ）。

所以基本上，TF Slim 和 Keras 之间的映射如下：

• tf.contrib.layers.xavier_initializer()应替换为tf.keras.initializers.GlorotUniform()
• tf.contrib.layers.xavier_initializer(uniform=False)应替换为tf.keras.initializers.GlorotNormal()

在另一个Stack Overflow 帖子中也注意到了这种差异，因此对那里的海报表示敬意。