使用多 GPU 訓練時，Tensorflow 精度低

Question

在多 GPU 上訓練時精度降低是否正常？ 例如，當我在單個 GPU 上訓練n批大小時，我獲得了 63% 的准確率。 然而，當我用 4 個 GPU 訓練每個 GPU 的批次大小為n 時，我的准確率只有 58%。 兩個案例都訓練了 100 個 epoch

我猜梯度的平均以某種方式使優化器變得困難。 有人經歷過同樣的事情嗎？

Answer 1

由於模型是在 100 個 epoch 后訓練的，因此您可以推斷模型並在 CPU 本身上找到准確度，因為它的計算量並不大。 但是，如果您想在訓練時觀察准確度，則很難從每個 GPU 中找到准確度並求平均值，這可能無法說明正在訓練的模型有多好。