TensorFlow的钩子和分布式培训

Question

我有一个带有钩子的培训工作，可以在培训期间设置变量：

class MyHook(tf.train.SessionRunHook):
   ...
   def begin(self):
       self._assign_op = tf.assign(...)
       self._assign_placeholder = ...

   def after_run(self, run_context, run_values):
       ...
       run_context.session.run(self._assign_op, feed_dict={self._assign_placeholder: ...})

训练按通常的估计方法进行：

my_model.train(..., hooks=[MyHook()])

现在，我试图了解如果我转移到分布式培训时会发生什么。 挂钩可以在所有机器上运行吗？ 如果当前我使用session.graph.get_tensor_by_name()在钩子中找到要分配给我的张量，那么这项工作还是在不同的副本上使用不同的张量？

换句话说，要在多个GPU或多节点训练中实现类似的工作，我需要考虑什么？