TF 2.0 @ tf.function示例

Question

在签名部分的tensorflow文档中，我们具有以下代码片段

@tf.function
def train(model, optimizer):
  train_ds = mnist_dataset()
  step = 0
  loss = 0.0
  accuracy = 0.0
  for x, y in train_ds:
    step += 1
    loss = train_one_step(model, optimizer, x, y)
    if tf.equal(step % 10, 0):
      tf.print('Step', step, ': loss', loss, '; accuracy', compute_accuracy.result())
  return step, loss, accuracy

step, loss, accuracy = train(model, optimizer)
print('Final step', step, ': loss', loss, '; accuracy', compute_accuracy.result())

我对step变量有一个小问题，它是一个整数而不是张量，签名支持内置的python类型，例如integer。 因此，可以将tf.equal(step%10,0)更改为简单的step%10 == 0对吗？

Answer 1

你是对的。 即使将整数变量step转换为其图形表示形式，它仍然是Python变量。 您可以通过调用tf.autograph.to_code(train.python_function)来查看转换结果。

如果不报告所有代码，而仅报告与step变量相关的部分，您将看到

  def loop_body(loop_vars, loss_1, step_1):
    with ag__.function_scope('loop_body'):
      x, y = loop_vars
      step_1 += 1

仍然是python操作（否则，如果步骤1是tf.Tensor则它将为step_1.assign_add(1) ）。

有关签名和tf.function的更多信息，我建议阅读文章https://pgaleone.eu/tensorflow/tf.function/2019/03/21/dissecting-tf-function-part-1/轻松解释何时发生的情况函数被转换。

Answer 2

尽管这在生成的代码中不可见，但step变量实际上将通过for循环自动装箱到Tensor，该循环被转换为TF while_loop。

您可以通过添加打印语句来验证这一点：

    loss = train_one_step(model, optimizer, x, y)
    print(step)
    if tf.equal(step % 10, 0):