Tensorflow 和 Numpy 产生不同的结果

Question

我在这里看到 Tensorflow 在 Dense 层中使用 matmul 。 我尝试在 Numpy 中做同样的事情，但它会产生不同的结果。

y = np.random.rand(8, 500)
w = np.random.normal(size=(y.shape[1], 128))
y_tf = tf.constant(y, dtype='float32')
yy = tf.keras.layers.Dense(128, activation='relu', weights=[w], use_bias=False)
y_tf = tf.keras.layers.Input(tensor=y_tf)
y_tf = yy(y_tf)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    res = sess.run(fetches=y_tf)

y = np.matmul(y, w)
y[y<0] = 0  # relu

np.testing.assert_almost_equal(y, res, decimal=3)

Answer 1

你对这个操作的理解是正确的，你的代码几乎是正确的。 尝试更换

yy = tf.keras.layers.Dense(128, activation='relu', weights=[w], use_bias=False)

和

yy = tf.keras.layers.Dense(128, activation=None, kernel_initializer=lambda *args, **kwargs: w, use_bias=False)

以防止权重随机初始化，测试将通过。