[英]tf.gradients() sums over ys, does it?
https://www.tensorflow.org/versions/r1.6/api_docs/python/tf/gradients
在tf.gradients(ys,xs)的文档中,它说明了这一点
在xs中构造ys wrt x之和的符号导数
我对求和部分感到困惑,我在其他地方读到,这对批处理中的每个x的批处理中的导数dy / dx求和。 但是,每当我使用它时,我都看不到这种情况。 采用以下简单示例:
x_dims = 3
batch_size = 4
x = tf.placeholder(tf.float32, (None, x_dims))
y = 2*(x**2)
grads = tf.gradients(y,x)
sess = tf.Session()
x_val = np.random.randint(0, 10, (batch_size, x_dims))
y_val, grads_val = sess.run([y, grads], {x:x_val})
print('x = \n', x_val)
print('y = \n', y_val)
print('dy/dx = \n', grads_val[0])
这给出了以下输出:
x =
[[5 3 7]
[2 2 5]
[7 5 0]
[3 7 6]]
y =
[[50. 18. 98.]
[ 8. 8. 50.]
[98. 50. 0.]
[18. 98. 72.]]
dy/dx =
[[20. 12. 28.]
[ 8. 8. 20.]
[28. 20. 0.]
[12. 28. 24.]]
这是我期望的输出,只是批量中每个元素的导数dy / dx。 我没有看到任何总结发生。 我在其他示例中看到,此操作之后是按批次大小除以tf.gradients()来计算批次的渐变(请参阅此处: https ://pemami4911.github.io/blog/2016/08 /21/ddpg-rl.html )。 为什么这有必要?
我使用的是Tensorflow 1.6和Python 3。
如果y和x具有相同的形状,则dy / dx上的和是恰好一个值的总和。 但是,如果每个x都有多个y,则对渐变进行求和。
import numpy as np
import tensorflow as tf
x_dims = 3
batch_size = 4
x = tf.placeholder(tf.float32, (None, x_dims))
y = 2*(x**2)
z = tf.stack([y, y]) # There are twice as many z's as x's
dy_dx = tf.gradients(y,x)
dz_dx = tf.gradients(z,x)
sess = tf.Session()
x_val = np.random.randint(0, 10, (batch_size, x_dims))
y_val, z_val, dy_dx_val, dz_dx_val = sess.run([y, z, dy_dx, dz_dx], {x:x_val})
print('x.shape =', x_val.shape)
print('x = \n', x_val)
print('y.shape = ', y_val.shape)
print('y = \n', y_val)
print('z.shape = ', z_val.shape)
print('z = \n', z_val)
print('dy/dx = \n', dy_dx_val[0])
print('dz/dx = \n', dz_dx_val[0])
产生以下输出:
x.shape = (4, 3)
x =
[[1 4 8]
[0 2 8]
[2 8 1]
[4 5 2]]
y.shape = (4, 3)
y =
[[ 2. 32. 128.]
[ 0. 8. 128.]
[ 8. 128. 2.]
[ 32. 50. 8.]]
z.shape = (2, 4, 3)
z =
[[[ 2. 32. 128.]
[ 0. 8. 128.]
[ 8. 128. 2.]
[ 32. 50. 8.]]
[[ 2. 32. 128.]
[ 0. 8. 128.]
[ 8. 128. 2.]
[ 32. 50. 8.]]]
dy/dx =
[[ 4. 16. 32.]
[ 0. 8. 32.]
[ 8. 32. 4.]
[16. 20. 8.]]
dz/dx =
[[ 8. 32. 64.]
[ 0. 16. 64.]
[16. 64. 8.]
[32. 40. 16.]]
特别要注意的是,dz / dx的值是dy / dz的两倍,因为它们是在堆栈的输入上求和的。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.