添加注意力机制，用于从神经网络生成热图 output

Question

我有这个神经网络，可以输入 rgb 图像和它的 2 个其他变体（固定和动态）。 我想在 output 中添加测试实例的热图的“注意”机制。

def build_model():
  inputRGB = tf.keras.Input(shape=(128,128,3), name='train_ds')
  inputFixed = tf.keras.Input(shape=(128,128,3), name='fixed_ds')
  inputDinamic = tf.keras.Input(shape=(128,128,3), name='dinamic_ds')

    #  RGB images
  rgb = models.Sequential()  
  rgb = layers.Conv2D(32, (5, 5), padding='SAME')(inputRGB)
  rgb = layers.PReLU()(rgb)
  rgb = layers.MaxPooling2D((2, 2))(rgb)
  rgb = layers.BatchNormalization()(rgb)
  rgb = layers.Conv2D(64, (3, 3))(rgb)
  rgb = layers.PReLU()(rgb)
  rgb = layers.Conv2D(64, (3, 3))(rgb)
  rgb = layers.PReLU()(rgb)
  rgb = layers.Conv2D(64, (3, 3))(rgb)
  rgb = layers.PReLU()(rgb)
  rgb = layers.Dropout(0.5)(rgb)
  rgb = layers.GlobalAvgPool2D()(rgb)
  rgb = Model(inputs = inputRGB, outputs=rgb)

    # First type of density 
  fixed = models.Sequential()
  fixed = layers.Conv2D(32, (5, 5), padding='SAME')(inputFixed)
  fixed = layers.PReLU()(fixed)
  fixed = layers.MaxPooling2D((2, 2))(fixed)
  fixed = layers.BatchNormalization()(fixed)
  fixed = layers.Conv2D(64, (3, 3))(fixed)
  fixed = layers.PReLU()(fixed)
  fixed = layers.Conv2D(64, (3, 3))(fixed)
  fixed = layers.PReLU()(fixed)
  fixed = layers.Conv2D(64, (3, 3))(fixed)
  fixed = layers.PReLU()(fixed)
  fixed = layers.Dropout(0.5)(fixed)
  fixed = layers.GlobalAvgPool2D()(fixed)
  fixed = Model(inputs = inputFixed, outputs=fixed)

    # Second type of density
  dinamic = models.Sequential()  
  dinamic = layers.Conv2D(32, (5, 5), padding='SAME')(inputDinamic)
  dinamic = layers.PReLU()(dinamic)
  dinamic = layers.MaxPooling2D((2, 2))(dinamic)
  dinamic = layers.BatchNormalization()(dinamic)
  dinamic = layers.Conv2D(64, (3, 3))(dinamic)
  dinamic = layers.PReLU()(dinamic)
  dinamic = layers.Conv2D(64, (3, 3))(dinamic)
  dinamic = layers.PReLU()(dinamic)
  dinamic = layers.Conv2D(64, (3, 3))(dinamic)
  dinamic = layers.PReLU()(dinamic)
  dinamic = layers.Dropout(0.5)(dinamic)
  dinamic = layers.GlobalAvgPool2D()(dinamic)
  dinamic = Model(inputs = inputDinamic, outputs=dinamic)

  concat = layers.concatenate([rgb.output, fixed.output, dinamic.output])  # merge the outputs of the two models
  k = layers.Dense(1)(concat)

  modelFinal = Model(inputs={'train_ds':inputRGB, 'fixed_ds':inputFixed, 'dinamic_ds':inputDinamic}, outputs=[k])

  opt = tf.keras.optimizers.Adam(learning_rate=0.001, amsgrad=False)


  modelFinal.compile(optimizer=opt , loss='mae', metrics=['mae'])
  return modelFinal

不幸的是，这是我第一次使用这种机械化。 根据我的研究，我应该在连接层和密集层之间插入一个注意力层。 但是，这是生成 output 的热图的正确方法吗？

Answer 1

Tensorflow 中的注意力层针对的是顺序数据。

图像卷积网络使用两种不同的注意力机制：

1. 自注意力机制（查看这篇很棒的媒体文章）

2. 直接权重图预测，通过在您要关注的层之后添加一个 1 x 1 卷积和 1 个过滤器，具有 sigmoid 激活。

3. 在特定的 kernel 上使用高斯 2D 注意，其中指定了 x 和 y 坐标。

然而，所有这些方法都是参数化的，需要训练。 你的用例是不同的。

为了从层中获取热图，我通常提取平均激活值最高的 kernel。 仅此一项通常是不够的，因此我使用平均激活值最高的前 k 个内核。

获取激活值最高的kernel，伪代码为：

在输入上运行 model，批量大小为 1

提取您想要热图的层的 output。 这将是形状（1，h，w，过滤器）。 将此分配给一个变量（例如“输出”）

对“输出”执行 GAP 并挤压以获得形状向量（过滤器）。 该向量的 argmax 将使 kernel 具有最高的平均激活。 我们称 argmax "kernel_number" 的 output

Plot “输出”[0, :, :, “kernel_number”]。 这是您正在寻找的热图。