第二次調用model.fit（）時CNTK內存不足錯誤

Question

我正在使用Keras和CNTK（后端）

我的代碼是這樣的：

def run_han(embeddings_index, fname, opt)
    ...
    sentence_input = Input(shape=(MAX_SENT_LENGTH,), dtype='int32')
    embedded_sequences = embedding_layer(sentence_input)
    l_lstm = Bidirectional(GRU(GRU_UNITS, return_sequences=True, kernel_regularizer=l2_reg, 
                           implementation=GPU_IMPL))(embedded_sequences)
    l_att = AttLayer(regularizer=l2_reg)(l_lstm)            
    sentEncoder = Model(sentence_input, l_att)

    review_input = Input(shape=(MAX_SENTS, MAX_SENT_LENGTH), dtype='int32')
    review_encoder = TimeDistributed(sentEncoder)(review_input)
    l_lstm_sent = Bidirectional(GRU(GRU_UNITS, return_sequences=True, kernel_regularizer=l2_reg, 
                                implementation=GPU_IMPL))(review_encoder)
    l_att_sent = AttLayer(regularizer=l2_reg)(l_lstm_sent) 
    preds = Dense(n_classes, activation='softmax', kernel_regularizer=l2_reg)(l_att_sent)
    model = Model(review_input, preds)

    model.compile(loss='categorical_crossentropy',
          optimizer=opt, #SGD(lr=0.1, nesterov=True),
          metrics=['acc'])
   ...
   model.fit(x_train[ind,:,:], y_train[ind,:], epochs=NUM_EPOCHS, batch_size=BATCH_SIZE, shuffle=False, 
          callbacks=[cr_result, history, csv_logger], 
          verbose=2,validation_data=(x_test, y_test), class_weight = class_weight)
   ...
    %xdel model
    gc.collect()

當我更改優化器時，我多次調用上面的模型。 像這樣：

opt = optimizers.RMSprop(lr=0.0001, rho=0.9, epsilon=1e-08, decay=0.0, clipvalue=0.5)
run_han(embeddings_index, 'w2v_100_all_rms_cw', opt, class_weight)

opt = optimizers.Adadelta(lr=1.0, rho=0.95, epsilon=1e-08, decay=0.0, clipvalue=0.5)
run_han(embeddings_index, 'w2v_100_all_adadelta_cw', opt, class_weight)

opt =  optimizers.Adagrad(lr=0.01, epsilon=1e-08, decay=0.0, clipvalue=0.5)
run_han(embeddings_index, 'w2v_100_all_adagrad_cw', opt, class_weight)

當第二次調用model.fit（）時，顯示內存不足錯誤

 RuntimeError: CUDA failure 2: out of memory ; GPU=0 ; hostname=USER-PC ; expr=cudaMalloc((void**) &deviceBufferPtr, sizeof(AllocatedElemType) * AsMultipleOf(numElements, 2))
[CALL STACK]
> Microsoft::MSR::CNTK::CudaTimer::  Stop
- Microsoft::MSR::CNTK::CudaTimer::  Stop (x2)
- Microsoft::MSR::CNTK::GPUMatrix<float>::  Resize
- Microsoft::MSR::CNTK::Matrix<float>::  Resize
- Microsoft::MSR::CNTK::DataTransferer::  operator= (x4)
- CNTK::Internal::  UseSparseGradientAggregationInDataParallelSGD
- Microsoft::MSR::CNTK::DataTransferer::  operator=
- CNTK::Internal::  UseSparseGradientAggregationInDataParallelSGD
- CNTK::Function::  Forward
- CNTK::  CreateTrainer
- CNTK::Trainer::  TotalNumberOfSamplesSeen
- CNTK::Trainer::  TrainMinibatch

我以為是因為第一次運行的內存沒有從gpu中釋放，所以我在model.fit（）之后添加了這個內存

%xdel model

gc.collect()

但是，錯誤是一樣的。 我無法弄清楚錯誤的原因。 是因為我的Keras代碼還是CNTK？

（GTX 1080ti，Window 7，Python 2.7，CNTK 2.2，Jupyter）

Answer 1

這是一個非常煩人的問題，它源於這樣一個事實：由於某種原因，編譯為在CPU上執行的代碼沒有被正確地垃圾收集。 因此，即使您正在運行垃圾收集器 - 已編譯的模型仍在GPU 。 為了克服這個問題，您可以嘗試這里介紹的解決方案（TLDR：在單獨的進程中運行訓練 - 當進程完成時 - 清除內存）