[英]L2 regularization of weights in Edward
我試圖了解我們如何才能將正則化與Edward模型一起使用 。 我仍然對tensorflow(用作Edward的后端)不熟悉。 考慮下面的模型,
# prior
w=Normal(loc=tf.zeros((d,c)),scale=tf.ones((d,c)))
# likelihood
y=Categorical(logits=tf.matmul(X,w))
# posterior
loc_qw = tf.get_variable("qw/loc", [d, c])
scale_qw = tf.nn.softplus(tf.get_variable("qw/scale", [d, c]))
qw = Normal(loc=loc_qw, scale=scale_qw)
# inference
inference = ed.KLqp({w: qw, b: qb}, data={X:train_X, y:train_y})
我注意到愛德華在損失函數中使用了正則化損失。 loss = -(p_log_lik - kl_penalty - reg_penalty)
但是,我不知道如何將正則化損失應用於Edward模型。 我們如何向上述模型添加L1或L2正則化?
謝謝!
我知道Normal優先級等同於l2正則化。 成像先驗是否不正常,以及是否要規范化隨機優化過程中嘗試估算的參數。
我發現可以使用后驗tf變量的正則化器參數來完成此操作。
loc_qw = tf.get_variable("qw/loc", [d, c], regularizer=tf.contrib.layers.l2_regularizer(reg_scale) )
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.