tf.layers.dense內核初始化程序和正則化程序

Question

tf.layers.dense函數定義為：

tf.layers.dense(
    inputs,
    units,
    activation=None,
    use_bias=True,
    kernel_initializer=None,
    bias_initializer=tf.zeros_initializer(),
    kernel_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    trainable=True,
    name=None,
    reuse=None
)

有兩個可選參數kernel_initializer和kernel_regularizer 。 我想嘗試兩種不同的正則化和初始化技術。 我不熱衷於從頭開始實現整個神經網絡。 有人可以提供為這兩個參數提供自定義函數的示例嗎？

Answer 1

最好的辦法是檢查tensorflow中initializer和regularizer的實現。 例如，此代碼中定義了variance_scaling_initializer初始化程序： https : //github.com/tensorflow/tensorflow/blob/r1.3/tensorflow/contrib/layers/python/layers/initializers.py#L62-L152

它由具有以下簽名的initializer函數組成：

initializer(shape, dtype=dtype, partition_info=None)

返回張量。

正則化器在這里定義： https : //github.com/tensorflow/tensorflow/blob/r1.3/tensorflow/contrib/layers/python/layers/regularizers.py