tf.layers.dense内核初始化程序和正则化程序

Question

tf.layers.dense函数定义为：

tf.layers.dense(
    inputs,
    units,
    activation=None,
    use_bias=True,
    kernel_initializer=None,
    bias_initializer=tf.zeros_initializer(),
    kernel_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    trainable=True,
    name=None,
    reuse=None
)

有两个可选参数kernel_initializer和kernel_regularizer 。 我想尝试两种不同的正则化和初始化技术。 我不热衷于从头开始实现整个神经网络。 有人可以提供为这两个参数提供自定义函数的示例吗？

Answer 1

最好的办法是检查tensorflow中initializer和regularizer的实现。 例如，此代码中定义了variance_scaling_initializer初始化程序： https : //github.com/tensorflow/tensorflow/blob/r1.3/tensorflow/contrib/layers/python/layers/initializers.py#L62-L152

它由具有以下签名的initializer函数组成：

initializer(shape, dtype=dtype, partition_info=None)

返回张量。

正则化器在这里定义： https : //github.com/tensorflow/tensorflow/blob/r1.3/tensorflow/contrib/layers/python/layers/regularizers.py