简体繁体 English

keras（tensorflow后端）使用Slurm在集群上运行

[英]keras (tensorflow backend) run on a cluster using slurm

原文 2018-11-07 05:46:17 3 1 python/ tensorflow/ keras/ cluster-computing/ slurm

I have the opportunity to run my Tensorflow training on a cluster computer with slurm workload manager (the cluster contains nearly 400000 cores, 40000 GB of RAM, Performance is Rmax=500 TFlop/s and Rpeak=1000 TFlop/s, AMD GPUs). 我有机会在带有slurm工作负载管理器的群集计算机上运行Tensorflow培训（群集包含近40万个内核，40000 GB RAM，性能为Rmax = 500 TFlop / s和Rpeak = 1000 TFlop / s，AMD GPU）。

I work on image processing projects using deep learning algorithms. 我从事使用深度学习算法的图像处理项目。

My question is how to scale my keras deep learning to run on this cluster using slurm as workload manager ? 我的问题是如何使用Slurm作为工作负载管理器来扩展我的keras深度学习在该集群上运行？

1 个解决方案

使用Horovod扩展Keras培训-https: //github.com/uber/horovod

在Slurm群集上运行TensorFlow？ - Running TensorFlow on a Slurm Cluster?

Keras-使用Tensorflow后端的LSTM - Keras - LSTM using Tensorflow Backend

使用 TensorFlow 作为后端的 keras 出错 - Error with keras using TensorFlow as backend

在GPU上将keras与tensorflow后端一起使用时出现问题 - Issue using keras with tensorflow backend on GPU

Keras使用tensorflow后端与烧瓶图错误 - Keras using tensorflow backend with Flask graph error

Keras使用theano后端，尽管keras.json指定了tensorflow - Keras using theano backend despite keras.json specifying tensorflow

keras后端theano / tensorflow - keras backend theano/tensorflow

Keras后端（tensorflow）与Keras - Keras backend (tensorflow) vs Keras

具有Tensorflow后端的Keras-在CPU上运行预测但在GPU上运行 - Keras with Tensorflow backend - Run predict on CPU but fit on GPU

使用 CPU（在 Tensorflow 2.x 中）“Keras 后端 + Tensorflow”和“来自 Tensorflow 的 Keras”有什么区别 - What is difference between “Keras backend + Tensorflow” and “Keras from Tensorflow” using CPU(in Tensorflow 2.x)

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 在Slurm群集上运行TensorFlow？ - Running TensorFlow on a Slurm Cluster? Keras-使用Tensorflow后端的LSTM - Keras - LSTM using Tensorflow Backend 使用 TensorFlow 作为后端的 keras 出错 - Error with keras using TensorFlow as backend 在GPU上将keras与tensorflow后端一起使用时出现问题 - Issue using keras with tensorflow backend on GPU Keras使用tensorflow后端与烧瓶图错误 - Keras using tensorflow backend with Flask graph error Keras使用theano后端，尽管keras.json指定了tensorflow - Keras using theano backend despite keras.json specifying tensorflow keras后端theano / tensorflow - keras backend theano/tensorflow Keras后端（tensorflow）与Keras - Keras backend (tensorflow) vs Keras 具有Tensorflow后端的Keras-在CPU上运行预测但在GPU上运行 - Keras with Tensorflow backend - Run predict on CPU but fit on GPU 使用 CPU（在 Tensorflow 2.x 中）“Keras 后端 + Tensorflow”和“来自 Tensorflow 的 Keras”有什么区别 - What is difference between “Keras backend + Tensorflow” and “Keras from Tensorflow” using CPU(in Tensorflow 2.x)

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM