Caffe，在圖層中設置自定義權重

Question

我有網絡。 在一個地方，我想使用concat。 就像這張照片一樣。

不幸的是，網絡無法訓練。 了解為什么我要在concat中更改權重。 這意味着，FC4096的所有值將在開始時為1，而FC16000的所有值將在開始時為0。

我知道FC4096將為我提供57％的准確度，因此以10 ^ -6的學習速度，我將理解為什么在連接層之后仍無法學習。

問題是，如何將FC4096的所有值設置為1，將FC16000的所有值設置為0？

Answer 1

您可以在FC16000頂部添加一個"Scale"層並將其初始化為0：

layer {
  name: "scale16000"
  type: "Scale"
  bottom: "fc16000"
  top: "fc16000"  # not 100% sure this layer can work in-place, worth trying though.
  scale_param {
    bias_term: false
    filler: { type: "constant" value: 0 }
  }
  param { lr_mult: 0 decay_mult: 0 } # set mult to non zero if you want to train this scale
}