Caffe，在图层中设置自定义权重

Question

我有网络。 在一个地方，我想使用concat。 就像这张照片一样。

不幸的是，网络无法训练。 了解为什么我要在concat中更改权重。 这意味着，FC4096的所有值将在开始时为1，而FC16000的所有值将在开始时为0。

我知道FC4096将为我提供57％的准确度，因此以10 ^ -6的学习速度，我将理解为什么在连接层之后仍无法学习。

问题是，如何将FC4096的所有值设置为1，将FC16000的所有值设置为0？

Answer 1

您可以在FC16000顶部添加一个"Scale"层并将其初始化为0：

layer {
  name: "scale16000"
  type: "Scale"
  bottom: "fc16000"
  top: "fc16000"  # not 100% sure this layer can work in-place, worth trying though.
  scale_param {
    bias_term: false
    filler: { type: "constant" value: 0 }
  }
  param { lr_mult: 0 decay_mult: 0 } # set mult to non zero if you want to train this scale
}