將 tf.contrib.layers.xavier_initializer() 更改為 2.0.0

Question

我該如何改變

tf.contrib.layers.xavier_initializer()

到 tf 版本 >= 2.0.0 ??

所有代碼：

W1 = tf.get_variable("W1", shape=[self.input_size, h_size],
                             initializer=tf.contrib.layers.xavier_initializer())

Answer 1

tf.contrib.layers.xavier_initializer()的 TF2 替換是tf.keras.initializers.glorot_normal （Xavier 和 Glorot 是同一個初始化算法的兩個名稱） 文檔鏈接。

如果tf.compat.v1.keras.initializers.glorot_normal由於某些兼容性原因很重要 - 使用tf.compat.v1.keras.initializers.glorot_normal

Answer 2

只是為了稍微澄清@poe-dator的答案：使用 TF slim 的tf.contrib.layers.xavier_initializer()不帶任何參數，返回均勻分布的權重（ 默認設置為uniform=True ）。

所以基本上，TF Slim 和 Keras 之間的映射如下：

• tf.contrib.layers.xavier_initializer()應替換為tf.keras.initializers.GlorotUniform()
• tf.contrib.layers.xavier_initializer(uniform=False)應替換為tf.keras.initializers.GlorotNormal()

在另一個Stack Overflow 帖子中也注意到了這種差異，因此對那里的海報表示敬意。