为什么在 tensorflow 中使用自定义层？

Question

TF 2.x 提供了 keras API，这使得神经网络的制作过程非常顺利。 那么为什么还要有人使用自定义图层呢？ 请允许我举例说明——

我为什么要使用这样的东西-

class ResnetIdentityBlock(tf.keras.Model):
  def __init__(self, kernel_size, filters):
    super(ResnetIdentityBlock, self).__init__(name='')
    filters1, filters2, filters3 = filters

    self.conv2a = tf.keras.layers.Conv2D(filters1, (1, 1))
    self.bn2a = tf.keras.layers.BatchNormalization()

    self.conv2b = tf.keras.layers.Conv2D(filters2, kernel_size, padding='same')
    self.bn2b = tf.keras.layers.BatchNormalization()

    self.conv2c = tf.keras.layers.Conv2D(filters3, (1, 1))
    self.bn2c = tf.keras.layers.BatchNormalization()

  def call(self, input_tensor, training=False):
    x = self.conv2a(input_tensor)
    x = self.bn2a(x, training=training)
    x = tf.nn.relu(x)

    x = self.conv2b(x)
    x = self.bn2b(x, training=training)
    x = tf.nn.relu(x)

    x = self.conv2c(x)
    x = self.bn2c(x, training=training)

    x += input_tensor
    return tf.nn.relu(x)


block = ResnetIdentityBlock(1, [1, 2, 3])

而不是这样的东西-

model = tf.keras.Sequential([
    tf.keras.layers.Conv2D(64, (2, 2), input_shape=(64, 64, 3)),
    tf.keras.layers.Conv2D(64, (2, 2)),
    tf.keras.layers.Conv2D(32, (2, 2)),
    tf.keras.layers.MaxPool2D(pool_size=(2, 2)),
    tf.keras.layers.Conv2D(16, (2, 2), activation='relu'),
    tf.keras.layers.Conv2D(8, (2, 2), activation='relu'),
    tf.keras.layers.MaxPool2D(pool_size=(2, 2)),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(units=1, activation='sigmoid')
])

显然，第二个代码块更具可读性。 第一个代码片段中说明的编码风格 (a nn) 有什么用？

编辑：我知道代码片段不会做同样的事情，但我担心的是 OOP 的使用，而不是简单地定义（如在第二个块中）。

Answer 1

Sequential抽象肯定是有用的，但它限制了你可以使用哪些操作以及如何使用的词汇； 即，您受限于 f ₁ (f ₂ (...f _n (x))..) 形式的顺序架构，其中 f _i中的每一个都必须是有限数量的预实现类的不同实例。

例如，考虑在管道的不同阶段多次应用相同卷积的权重绑定架构，或者（如您发布的示例中），“跳过”某些层的残差连接¹ 。

因此， Sequential绝对足以组织和运行简单的架构，但对于任何比这更复杂的东西，从长远来看，它肯定会让您更加头疼。

---

¹ ：我有一段时间没有亲自使用过 Keras —— 可能是有允许实现残差连接或权重共享的层类； 这只是为了说明我的观点。