Tensorflow GlorotNormal 和 GlorotUniform 有什么區別

Question

我正在使用帶有 SimpleRNN 層的 Tensorflow 訓練神經網絡。 默認情況下kernel_initializer='glorot_uniform' 。 GlorotNormal 和 GlorotUniform 之間有區別嗎？ 哪個最適合 RNN？

Answer 1

據我了解，Glorot 的 Normal 和 Uniform 非常相似。 主要區別在於初始化期間提取的隨機值。 在正態變化中，隨機值是從以 0 (1)為中心的正態分布（也稱為高斯分布）中提取的，而在均勻情況下，隨機值是從具有限制[-limit,limit], where limit = sqrt(6 / (fan_in + fan_out)) (2)

至於你的第二個問題哪個對 RNN 更好，我不知道哪種方法更好已經達成共識。 仍在進行討論，但您可以在數據科學堆棧交換中找到對此答案的深入了解。