如何扩展神经网络层？

Question

我正在尝试编写本文描述的可扩展神经网络：使用动态可扩展网络进行终生学习（Jeongtae Lee，Jaehong Yoon，Eunho Yang，Sung Ju Hwang，2017年8月）。

现在考虑我拥有这样的LSTM层：

tf.contrib.rnn.LSTMCell(128, state_is_tuple=True)

假设我现在要离开大门，只想将该LSTM层的神经元从128扩展到256，同时保留先前的权重，并使新的权重为0.000001，这对于随后的层就无关紧要了。 我怎样才能做到这一点？

另外，是否可以通过在开始时为新功能分配零权重来更改输入大小并保留权重？ 例如，如果我有这样的输入：

inputs = tf.placeholder(tf.float32, [None, 30, 2])

我想将其更改为：

inputs = tf.placeholder(tf.float32, [None, 30, 5])

然后，我应该对我的图层执行哪些操作以加载先前训练的权重和填充零点以适合输入形状？

任何其他类型的层的答案也将不胜感激。 从字面上看，任何帮助将不胜感激。

Answer 1

1. 新的权重应初始化为随机值