如何將中間卷積層的結果存儲在 tensorflow 中以供以后處理？

Question

下圖描述了在應用 CNN 的單個中間過濾器層的最大池化層之前的輸出。 我想存儲強度為 4 的像素的坐標（在箭頭 LHS 上矩陣的右下角），因為它在箭頭 LHS 上的矩陣中。 也就是說，右側矩陣中坐標 (4,4)（基於 1 的索引）處的像素是存儲在箭頭右側的矩陣右下角單元格中的像素，右側。 現在我想要做的是存儲這個坐標值 (4,4) 以及其他像素的坐標 {(2,2) 表示強度為 6 的像素，(2, 4) 表示強度為8 和 (3, 1) 對於強度為 3} 的像素作為列表供以后處理。 我如何在 Tensorflow 中做到這一點。

使用大小為 2 x 2 且步幅為 2 的過濾器完成最大池化

Answer 1

您可以使用tf.nn.max_pool_with_argmax （ 鏈接）。 筆記：

argmax 中的索引被展平，因此位置 [b, y, x, c] 處的最大值變為展平的索引 ((b * height + y) * width + x) * channels + c。

我們需要做一些處理以使其適合您的坐標。 一個例子：

import tensorflow as tf
import numpy as np

def max_pool_with_argmax(net,filter_h,filter_w,stride):
    output, mask = tf.nn.max_pool_with_argmax( net,ksize=[1, filter_h, filter_w, 1],
                                            strides=[1, stride, stride, 1],padding='SAME')

    # If your ksize looks like [1, stride, stride, 1]
    loc_x = mask // net.shape[2]
    loc_y = mask % net.shape[2]
    loc = tf.concat([loc_x+1,loc_y+1],axis=-1) #count from 0 so add 1

    # If your ksize is all changing, use the following
    # c = tf.mod(mask,net.shape[3])
    # remain = tf.cast(tf.divide(tf.subtract(mask,c),net.shape[3]),tf.int64)
    # x = tf.mod(remain,net.shape[2])
    # remain = tf.cast(tf.divide(tf.subtract(remain,x),net.shape[2]),tf.int64)
    # y = tf.mod(remain,net.shape[1])
    # remain = tf.cast(tf.divide(tf.subtract(remain, y), net.shape[1]),tf.int64)
    # b = tf.mod(remain, net.shape[0])
    # loc = tf.concat([y+1,x+1], axis=-1)
    return output,loc

input = tf.Variable(np.random.rand(1, 6, 4, 1), dtype=np.float32)
output, mask = max_pool_with_argmax(input,2,2,2)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    input_value,output_value,mask_value = sess.run([input,output,mask])
    print(input_value[0,:,:,0])
    print(output_value[0,:,:,0])
    print(mask_value[0,:,:,:])

#print
[[0.20101677 0.09207255 0.32177696 0.34424785]
 [0.4116488  0.5965447  0.20575707 0.63288754]
 [0.3145412  0.16090539 0.59698933 0.709239  ]
 [0.00252096 0.18027237 0.11163216 0.40613824]
 [0.4027637  0.1995668  0.7462126  0.68812144]
 [0.8993007  0.55828506 0.5263306  0.09376772]]
[[0.5965447  0.63288754]
 [0.3145412  0.709239  ]
 [0.8993007  0.7462126 ]]
[[[2 2]
  [2 4]]

 [[3 1]
  [3 4]]

 [[6 1]
  [5 3]]]

您可以看到強度為 0.5965447 的像素為 (2,2)，強度為 0.63288754 的像素為 (2, 4) 等等。

Answer 2

假設您有以下最大池化層：

pool_layer= tf.nn.max_pool(conv_output,
                           ksize=[1, 2, 2, 1],
                           strides=[1, 2, 2, 1],
                           padding='VALID')

您可以使用：

max_pos = tf.gradients([pool_layer], [conv_output])[0]