如何在 TensorFlow 中使用 He 初始化

Question

He / MSRA 初始化，來自Delving Deep into Rectifiers ，似乎是使用 ReLU 時推薦的權重初始化。

有沒有內置的方法可以在 TensorFlow 中使用它？ （類似於： 如何在 TensorFlow 上進行 Xavier 初始化）？

Answer 1

TensorFlow 2.0

tf.keras.initializers.HeUniform()

或者

tf.keras.initializers.HeNormal()

有關用法，請參閱文檔。 (h/t 到@mable)

TensorFlow 1.0

tf.contrib.layers.variance_scaling_initializer(dtype=tf.float32)

這會給你 He/MRSA 初始化。 文檔指出tf.contrib.layers.variance_scaling_initializer的默認參數對應於 He 初始化，更改參數可以產生 Xavier 初始化（這是在 TF 的 Xavier 初始化的內部實現中完成的）。

用法示例：

W1 = tf.get_variable('W1', shape=[784, 256],
       initializer=tf.contrib.layers.variance_scaling_initializer())

或者

initializer = tf.contrib.layers.variance_scaling_initializer()
W1 = tf.Variable(initializer([784,256]))