![](/img/trans.png)
[英]Train multiple keras/tensorflow models on different GPUs simultaneously
[英]Keras + Tensorflow: Prediction on multiple gpus
我正在使用帶有tensorflow的Keras作為后端。 我有一個經過編譯/訓練的模型。
我的預測循環很慢,因此我想找到一種方法來並行化predict_proba
調用以加快速度。 我想獲取(數據)批次的列表,然后針對每個可用gpu,在這些批次的子集上運行model.predict_proba()
。
實質上:
data = [ batch_0, batch_1, ... , batch_N ]
on gpu_0 => return predict_proba(batch_0)
on gpu_1 => return predict_proba(batch_1)
...
on gpu_N => return predict_proba(batch_N)
我知道在純Tensorflow中可以將操作分配給給定的gpu( https://www.tensorflow.org/tutorials/using_gpu )。 但是,由於我使用Keras的api構建/編譯/訓練了模型,因此我不知道這會如何轉變為我的情況。
我以為也許我只需要使用python的多處理模塊並為每個gpu啟動一個進程,該進程即可運行predict_proba(batch_n)
。 我知道我的另一個SO帖子在理論上是可行的: Keras + Tensorflow和Python中的Multiprocessing 。 但是,這仍然給我帶來一個難題,就是不知道如何實際“選擇”一個gpu來執行該過程。
我的問題歸結為:當使用Tensorflow作為Keras的后端時,如何在多個GPU上並行化Keras中一個模型的預測?
另外,我很好奇,如果僅使用一個GPU就能進行類似的並行預測。
高級描述或代碼示例將不勝感激!
謝謝!
我創建了一個簡單的示例來展示如何在多個GPU上運行keras模型。 基本上,將創建多個進程,並且每個進程都擁有一個GPU。 要指定正在處理的GPU ID,設置環境變量CUDA_VISIBLE_DEVICES是一種非常簡單的方法(os.environ [“ CUDA_VISIBLE_DEVICES”])。 希望這個git repo可以為您提供幫助。
https://github.com/yuanyuanli85/Keras-Multiple-Process-Prediction
您可以使用此功能並行化Keras模型(貸記到kuza55 )。
https://github.com/kuza55/keras-extras/blob/master/utils/multi_gpu.py
。
from keras.layers import merge
from keras.layers.core import Lambda
from keras.models import Model
import tensorflow as tf
def make_parallel(model, gpu_count):
def get_slice(data, idx, parts):
shape = tf.shape(data)
size = tf.concat([ shape[:1] // parts, shape[1:] ],axis=0)
stride = tf.concat([ shape[:1] // parts, shape[1:]*0 ],axis=0)
start = stride * idx
return tf.slice(data, start, size)
outputs_all = []
for i in range(len(model.outputs)):
outputs_all.append([])
#Place a copy of the model on each GPU, each getting a slice of the batch
for i in range(gpu_count):
with tf.device('/gpu:%d' % i):
with tf.name_scope('tower_%d' % i) as scope:
inputs = []
#Slice each input into a piece for processing on this GPU
for x in model.inputs:
input_shape = tuple(x.get_shape().as_list())[1:]
slice_n = Lambda(get_slice, output_shape=input_shape, arguments={'idx':i,'parts':gpu_count})(x)
inputs.append(slice_n)
outputs = model(inputs)
if not isinstance(outputs, list):
outputs = [outputs]
#Save all the outputs for merging back together later
for l in range(len(outputs)):
outputs_all[l].append(outputs[l])
# merge outputs on CPU
with tf.device('/cpu:0'):
merged = []
for outputs in outputs_all:
merged.append(merge(outputs, mode='concat', concat_axis=0))
return Model(input=model.inputs, output=merged)
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.