Tensorflow GlorotNormal 和 GlorotUniform 有什么区别

Question

我正在使用带有 SimpleRNN 层的 Tensorflow 训练神经网络。 默认情况下kernel_initializer='glorot_uniform' 。 GlorotNormal 和 GlorotUniform 之间有区别吗？ 哪个最适合 RNN？

Answer 1

据我了解，Glorot 的 Normal 和 Uniform 非常相似。 主要区别在于初始化期间提取的随机值。 在正态变化中，随机值是从以 0 (1)为中心的正态分布（也称为高斯分布）中提取的，而在均匀情况下，随机值是从具有限制[-limit,limit], where limit = sqrt(6 / (fan_in + fan_out)) (2)

至于你的第二个问题哪个对 RNN 更好，我不知道哪种方法更好已经达成共识。 仍在进行讨论，但您可以在数据科学堆栈交换中找到对此答案的深入了解。