Tensorflow：如何手動分片數據集

Question

我正在使用MirroredStrategy執行多 GPU 訓練，但它似乎沒有正確分片數據。 你 go 如何手動分片數據？

我知道我可以對shard數據集使用分tf.data方法，但為此我需要訪問工作人員 ID，但我不知道如何獲取它。 如何訪問工作人員 ID？

Answer 1

MirroredStrategy在單個 worker 上運行（對於多個 worker 有MultiWorkerMirroredStrategy ）。 因為它只在一個 worker 上運行，所以MirroredStrategy運行一個Dataset管道，沒有任何數據分片。 在每一步， MirroredStrategy都會為每個工作人員請求一個數據集元素。