TensorFlow交叉熵教程

Question

我刚刚阅读了TensorFlow教程（ https://www.tensorflow.org/versions/r0.8/tutorials/mnist/pros/index.html#deep-mnist-for-experts ）。

我有两个问题：

1. 为什么它使用cost function with y_ * log(y)的cost function with y_ * log(y) ？ 不应该是y_ * log(y) + (1-y_) * log(1-y) ？

2. TensorFlow如何知道如何计算我使用的cost function的gradient ？ 难道我们不应该在某个地方告诉TensorFlow如何计算gradient ？

谢谢！

Answer 1

1. 当y = 1或0时，您可以使用y_ * log（y）+（1-y_）* log（1-y），但当y是一热编码时，y = [0 1]或[1 0] ，我们使用y_ * log（y）。 实际上，它们是一样的。

2. 一切都是TensorFlow中的图表，包括您的成本函数。

因此每个节点都知道它们的操作和局部梯度。 Tensorflow使用反向传播（链规则）使用图形计算梯度。