使用CNTK和numpy互操作进行并行训练
[英]Parallel training with CNTK and numpy interop
问题描述
我正在训练一个自动编码器网络，该网络需要每个训练样本读取三幅图像（一个输入RGB图像，两个输出RGB图像）。 使用python和numpy互操作并自己读取图像文件很容易做到这一点。
我该如何启用并行/分布式培训？ 我必须使用培训课程结构吗？ 我必须使用图像读取器微型批次源吗？
2 个解决方案
解决方案1
1 已采纳 2017-04-12 07:15:56
有以下选项：1）使用分布式学习器+培训课程-然后，您需要使用ImageDeserializer或实现自己的MinibatchSource（此扩展性仅在RC2以后才可用）2）使用分布式学习器+自己编写培训循环。 在这种情况下，您必须注意拆分数据（每个工作人员应仅读取与其等级相对应的图像），并且循环内的所有条件都应基于Trainer-> TotalNumberOfSamples（）（即检查点是否执行任何操作）。
解决方案2
0 2017-04-08 17:13:17
您是否看过以下链接，了解如何使用mpiexec对多台机器进行并行培训？
https://github.com/Microsoft/CNTK/wiki/Multiple-GPUs-and-machines#32-python
CNTK：从numpy数组创建MinibatchSource以进行多GPU培训
[英]CNTK: Create MinibatchSource from numpy array for multi GPU training
如何在使用 CNTK 训练期间直接访问梯度和修改权重（参数）？
[英]How to access gradients and modify weights (parameters) directly during training with CNTK?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.