如何将转换应用于单个神经元？

Question

通常，激活函数会应用于给定层的所有神经元，如

layer = tf.nn.relu(layer)

如何仅将激活函数用于仅说第二个神经元？

如何仅将特定转换（例如tf.exp() ）应用于特定神经元？

切片列在这里无法应用，因为要切片一列，我需要知道行数，并且在构造时未知。

Answer 1

您可以对动态形状的张量进行切片，就像静态的张量一样。 在这里，我将所有内容剥离为[?, 2]张量，其为0切片：

import numpy as np
import tensorflow as tf

x = tf.placeholder(dtype=tf.float32, shape=[None, 2], name='x')
layer = tf.nn.relu(x)
slice = layer[:, 0]
activation = tf.log(1 + tf.exp(slice))

with tf.Session() as session:
  session.run(tf.global_variables_initializer())
  layer_val, slice_val, activ_val = session.run([layer, slice, activation],
                                                feed_dict={x: np.random.randn(10, 2)})
  print layer_val[:, 0]
  print slice_val
  print activ_val

您应该看到layer_val[:, 0]是一样的slice_val ，并activ_val是其转型。