如何在 Tensorflow 上測試分布式層？

[英]How to test distributed layers on Tensorflow?

我正在嘗試測試稍后將在分布式模型中添加的層，但是我想確保它之前可以正常工作。 這是有問題的層： class BNShuffler(tf.Module): def __init__( self, global_batch_size: int=64 ): ...

從 TF-YARN 庫創建 pex 以進行分布式訓練時出錯

[英]Getting error in creating pex from TF-YARN library for distributed training

由於我們的數據位於 Hadoop 中，因此我們正在嘗試使用 TF-YARN 庫在 Tenorflow 上訓練 DL。 但是我們在 cluster_pack.upload_env() 中遇到錯誤以下是完整的錯誤： 錯誤：cluster_pack.packaging：無法創建 pex Traceback ...

Tensorflow：如何手動分片數據集

[英]Tensorflow: how to manually shard a dataset

我正在使用MirroredStrategy執行多 GPU 訓練，但它似乎沒有正確分片數據。 你 go 如何手動分片數據？ 我知道我可以對shard數據集使用分tf.data方法，但為此我需要訪問工作人員 ID，但我不知道如何獲取它。 如何訪問工作人員 ID？ ...

SageMaker 上的 Tensorflow 參數服務器

[英]Tensorflow Parameter Servers on SageMaker

我試圖了解參數服務器 (PS) 如何在 Amazon SageMaker 上的 Tensorflow 中進行分布式訓練。 為了使事情更具體，我可以使用 PS 從 AWS 運行示例： https : //github.com/aws-samples/amazon-sagemaker-script-m ...

用張量流分布式實現mask-r-cnn

[英]implementing mask-r-cnn with tensorflow-distributed

我正在訓練一個基於tensorflow和keras的mask-r-cnn網絡 。 我正在尋找減少訓練時間的方法，因此我想使用tensorflow-distributed實現它。 我已經使用mask-r-cnn已有一段時間了，但似乎要嘗試的工作是要求我修改mask-r-cnn的源代碼，這超 ...

使用TensorFlow2進行分布式學習不起作用

[英]Distributed Learning with TensorFlow2 is not working

我正在嘗試使用Tensorflow版本2.0.0a（CPU版本）在VS-Code中使用分布式TF。 我正在使用Windows和Linux系統（兩台不同的計算機），兩者都很好。 對於已分發的TF，我按照https://www.tensorflow.org/alpha/guide/dis ...

Tensorflow 鏡像策略和 Horovod 分布策略

[英]Tensorflow Mirror Strategy and Horovod Distribution Strategy

我試圖了解 Tensorflow Mirror Strategy 和 Horovod Distribution Strategy 之間的基本區別是什么。 從文檔和源代碼調查中，我發現 Horovod ( https://github.com/horovod/horovod ) 正在使用消息傳遞協議 ...