[英]tf.gradients() sums over ys, does it?
https://www.tensorflow.org/versions/r1.6/api_docs/python/tf/gradients
在tf.gradients(ys,xs)的文檔中,它說明了這一點
在xs中構造ys wrt x之和的符號導數
我對求和部分感到困惑,我在其他地方讀到,這對批處理中的每個x的批處理中的導數dy / dx求和。 但是,每當我使用它時,我都看不到這種情況。 采用以下簡單示例:
x_dims = 3
batch_size = 4
x = tf.placeholder(tf.float32, (None, x_dims))
y = 2*(x**2)
grads = tf.gradients(y,x)
sess = tf.Session()
x_val = np.random.randint(0, 10, (batch_size, x_dims))
y_val, grads_val = sess.run([y, grads], {x:x_val})
print('x = \n', x_val)
print('y = \n', y_val)
print('dy/dx = \n', grads_val[0])
這給出了以下輸出:
x =
[[5 3 7]
[2 2 5]
[7 5 0]
[3 7 6]]
y =
[[50. 18. 98.]
[ 8. 8. 50.]
[98. 50. 0.]
[18. 98. 72.]]
dy/dx =
[[20. 12. 28.]
[ 8. 8. 20.]
[28. 20. 0.]
[12. 28. 24.]]
這是我期望的輸出,只是批量中每個元素的導數dy / dx。 我沒有看到任何總結發生。 我在其他示例中看到,此操作之后是按批次大小除以tf.gradients()來計算批次的漸變(請參閱此處: https ://pemami4911.github.io/blog/2016/08 /21/ddpg-rl.html )。 為什么這有必要?
我使用的是Tensorflow 1.6和Python 3。
如果y和x具有相同的形狀,則dy / dx上的和是恰好一個值的總和。 但是,如果每個x都有多個y,則對漸變進行求和。
import numpy as np
import tensorflow as tf
x_dims = 3
batch_size = 4
x = tf.placeholder(tf.float32, (None, x_dims))
y = 2*(x**2)
z = tf.stack([y, y]) # There are twice as many z's as x's
dy_dx = tf.gradients(y,x)
dz_dx = tf.gradients(z,x)
sess = tf.Session()
x_val = np.random.randint(0, 10, (batch_size, x_dims))
y_val, z_val, dy_dx_val, dz_dx_val = sess.run([y, z, dy_dx, dz_dx], {x:x_val})
print('x.shape =', x_val.shape)
print('x = \n', x_val)
print('y.shape = ', y_val.shape)
print('y = \n', y_val)
print('z.shape = ', z_val.shape)
print('z = \n', z_val)
print('dy/dx = \n', dy_dx_val[0])
print('dz/dx = \n', dz_dx_val[0])
產生以下輸出:
x.shape = (4, 3)
x =
[[1 4 8]
[0 2 8]
[2 8 1]
[4 5 2]]
y.shape = (4, 3)
y =
[[ 2. 32. 128.]
[ 0. 8. 128.]
[ 8. 128. 2.]
[ 32. 50. 8.]]
z.shape = (2, 4, 3)
z =
[[[ 2. 32. 128.]
[ 0. 8. 128.]
[ 8. 128. 2.]
[ 32. 50. 8.]]
[[ 2. 32. 128.]
[ 0. 8. 128.]
[ 8. 128. 2.]
[ 32. 50. 8.]]]
dy/dx =
[[ 4. 16. 32.]
[ 0. 8. 32.]
[ 8. 32. 4.]
[16. 20. 8.]]
dz/dx =
[[ 8. 32. 64.]
[ 0. 16. 64.]
[16. 64. 8.]
[32. 40. 16.]]
特別要注意的是,dz / dx的值是dy / dz的兩倍,因為它們是在堆棧的輸入上求和的。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.