SciPy.optimize.fmin_l_bfgs_b什么时候评估损失质数？

Question

我想使用SciPy.optimize.fmin_l_bfgs_b最小化损失函数。 因为我的代码中的loss_calculator旨在一次运行即可返回loss和loss_prime并执行一次评估是很昂贵的，所以我必须以这种方式“欺骗”优化器：

import numpy as np
from scipy.optimize import fmin_l_bfgs_b as optimizer

x_true = np.arange(0,10,0.1)
m_true = 2.5
b_true = 1.0
y_true = m_true*x_true + b_true

class test:
    def __init__(self, x_true, y_true):
        self.x_true = x_true
        self.y_true = y_true

    def func(self, params):
        x = self.x_true
        y = self.y_true
        m, b = params
        y_model = m*x+b
        error = y-y_model
        self.loss = sum(error**2)
        temp_dm = sum(2*x*(m*x+b-y))
        temp_db = sum(2*(m*x+b-y))
        self.dloss = np.asarray([temp_dm, temp_db])

    def get_loss(self, params):
        self.params = params
        self.func(params)
        return self.loss

    def get_dloss(self, params):
        assert (self.params == params).all()
        return self.dloss

temp_instance = test(x_true, y_true)
initial_values = np.array([1.0, 0.0])
x = optimizer(temp_instance.get_loss, initial_values, temp_instance.get_dloss)

这只是一个玩具代码，可以证明我的想法。 正如你所看到的，方法get_dloss基本上什么都不做，在loss_prime当我们调用已计算get_loss 。

此玩具代码适用于此玩具示例，但我不确定这在实际实现中是否合法。

我担心的是SciPy.optimize.fmin_l_bfgs_b首先会评估loss_prime吗？