相对于多GPU设置的TensorFlow检查点和模型

Question

让我们考虑一个实际情况，研究人员在使用TensorFlow时经常发现他/她自己：

• 可以使用多个GPU进行训练，我想将其用于加速。
• 随后，我想将训练后的模型提供给具有不同数量（可能是1 !!）GPU的同事或合作者。
• 与多个协作者共享时，无需修改代码即可使用，这一点很重要。

但是，对于这种情况，TensorFlow文档/示例不是很清楚/无法解释。 基本问题是：

1. 如何编写涉及使用多个GPU训练模型并且可以从检查点轻松恢复模型的代码？
2. 我的协作者拥有不同数量的GPU资源时，该如何处理？ 更准确地说，我应该遵循哪些最佳实践以确保与他们共享的代码和模型易于被他们使用？

是否有其他TensorFlow用户（面对同样的情况！）可以共享的一些示例或最佳实践？

注意 ：我不是在寻找现成的解决方案。 我的主要目的是了解TensorFlow功能，该功能记录不充分。