使用自定义参数更新来降低Tensorflow卷积网络的速度

Question

我正在尝试在卷积网络上实现自定义参数更新，但是执行的每个小批处理变得越来越慢。

我意识到不需要以固定的学习速度来解决此问题，但我计划稍后进行更新。

我将此循环称为feed_dict是mini_batch。

sess.run(layered_optimizer(cost,.1,1),feed_dict = feed_dict)   

哪里

def layered_optimizer(cost,base_rate, rate_multiplier):

    gradients = tf.gradients(cost, [*weights, *biases])
    print(gradients)

    #update parameters based on gradients: var = var - gradient * base_rate * multiplier
    for i in range(len(weights)-1):
        weights[i].assign(tf.subtract(weights[i], tf.multiply(gradients[i], base_rate * rate_multiplier)))
        biases[i].assign(tf.subtract(biases[i], tf.multiply(gradients[len(weights)+i], base_rate * rate_multiplier)))



    return(cost)

我不确定这是否与问题有关，但是在尝试第二次运行代码后，出现以下错误并必须重新启动。

无法创建cudnn句柄：CUDNN_STATUS_NOT_INITIALIZED错误，获取驱动程序版本：未实现：内核报告的驱动程序版本未在Windows上实现，无法销毁cudnn句柄：CUDNN_STATUS_BAD_PARAM检查失败：stream-> parent（）-> GetConvolveAlgorithms（conv_parameters（Non）

Answer 1

发生的是，每次被调用

渐变= tf.gradients（费用，[*权重，*偏差]）

将创建一个新的tf.gradients实例，占用不必要的内存。