[英]Does `tf.distribute.MirroredStrategy` have an impact on training outcome?
我不明白MirroredStrategy是否對訓練結果有任何影響。
我的意思是：在單個設備上訓練的 model 是否與在多個設備上訓練的 model 相同？
我認為它應該是相同的 model，因為它只是梯度的分布式計算，不是嗎？
是的，在單個 GPU 和多個 GPU（在單個機器上）上訓練的 model 是相同的。 也就是說，根據文檔，model 中的變量在所有 GPU 上被復制和同步。
Tensorflow 不使用 tf.distribute.MirroredStrategy() 檢測到多個 CPU 內核
[英]Tensorflow does not detect multiple CPU cores with tf.distribute.MirroredStrategy()
使用 tensorflow-gpu 1.14 和 tf.distribute.MirroredStrategy() 的自定義訓練循環導致 ValueError
[英]Custom training loop using tensorflow-gpu 1.14 and tf.distribute.MirroredStrategy() results in ValueError
無法將嵌入層與 tf.distribute.MirroredStrategy 一起使用
[英]Not able to use Embedding Layer with tf.distribute.MirroredStrategy
Tensorflow — 使用“tf.distribute.MirroredStrategy”時無法調用“tf.keras.Model.add_metric”
[英]Tensorflow — Cannot call `tf.keras.Model.add_metric` when `tf.distribute.MirroredStrategy` is used
使用 tf.distribute.MirroredStrategy() 時無法加載 tensorflow keras 檢查點
[英]Can't load tensorflow keras checkpoint when using tf.distribute.MirroredStrategy()
RuntimeError: Method requires being in cross-replica context, use get_replica_context().merge_call() 同時使用 tf.distribute.MirroredStrategy
[英]RuntimeError: Method requires being in cross-replica context, use get_replica_context().merge_call() while using tf.distribute.MirroredStrategy
Tensorflows MirroredStrategy() 是否拆分訓練模型？
[英]Does Tensorflows MirroredStrategy() split the training model?
為什么在 tensorflow 2 中使用 tf.GradientTape 進行訓練與使用 fit API 進行訓練有不同的行為？
[英]Why does training using tf.GradientTape in tensorflow 2 have different behavior to training using fit API?
TensorFlow MirroredStrategy() 不適用於多 GPU 訓練
[英]TensorFlow MirroredStrategy() not working for multi-gpu training
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
