在張量流中凍結權重矩陣中的特定值

Question

假設我有一個看起來像[[a , b ], [c, d]]權重矩陣，是否可以在Tensorflow中將b和c的值固定為零，以便在優化期間它們不會改變？

Answer 1

一些示例代碼：

A = tf.Variable([[1., 0.], [3., 0.]])
A1 = A[:,0:1] # just some slicing of your variable
A2 = A[:,1:2]
A2_stop = tf.stop_gradient(tf.identity(A2)) 
A = tf.concat((A1, A2_stop), axis=1)

實際上，需要tf.identity來停止A2之前的梯度。

Answer 2

有三種方法可以做到

1. 將您的權重矩陣分解為多個變量，並使其中一些僅可訓練。
2. 將常數元素的梯度計算值設為零。
3. 修改漸變應用程序以重置常量元素的值。