如何擴展神經網絡層？

Question

我正在嘗試編寫本文描述的可擴展神經網絡：使用動態可擴展網絡進行終生學習（Jeongtae Lee，Jaehong Yoon，Eunho Yang，Sung Ju Hwang，2017年8月）。

現在考慮我擁有這樣的LSTM層：

tf.contrib.rnn.LSTMCell(128, state_is_tuple=True)

假設我現在要離開大門，只想將該LSTM層的神經元從128擴展到256，同時保留先前的權重，並使新的權重為0.000001，這對於隨后的層就無關緊要了。 我怎樣才能做到這一點？

另外，是否可以通過在開始時為新功能分配零權重來更改輸入大小並保留權重？ 例如，如果我有這樣的輸入：

inputs = tf.placeholder(tf.float32, [None, 30, 2])

我想將其更改為：

inputs = tf.placeholder(tf.float32, [None, 30, 5])

然后，我應該對我的圖層執行哪些操作以加載先前訓練的權重和填充零點以適合輸入形狀？

任何其他類型的層的答案也將不勝感激。 從字面上看，任何幫助將不勝感激。

Answer 1

1. 新的權重應初始化為隨機值