在MATLAB和Scipy.optimize中实现的fmin_l_bfgs_b的差异

Question

我一直在关注Stanford UFLDL系列（ http://ufldl.stanford.edu/wiki/index.php/Exercise:Sparse_Autoencoder ）中的Sparse Autoencoder教程。

我完成了MATLAB版本的实现，并且可以完美运行，但是当将相同的实现移植到Python（带有numpy，scipy和Matplotlib）时，我注意到了一些差异。

我注意到成本函数没有最小化到相同的程度。 我知道由于theta是随机初始化的，每次运行都会给出不同的最终成本值，但是在将这两种实现重新运行20次以上之后，我总是看到Python实现产生f_cost = 4.57e-1，而MATLAB版本给出了围绕f_cost = 4.46e-1的答案。 换句话说，一致的差异为〜0.01 。

由于这是两种在理论上完全相同的实现方式（相同的成本函数，相同的梯度，相同的minFunc和LBFGS）

由于我怀疑该问题取决于成本函数和梯度计算，因此无法在几行中重现。 但是您可以在Github（ https://github.com/alanhyue/cs294a_2011-sparseAutoencoders ）上找到Python和MATLAB中的完整代码。

额外细节

这里有一些其他细节，可能有助于澄清问题。

1. LBFGS和LBFGS-B本教程提供的启动程序代码使用LBFGS最小化theta，尽管我在Scipy中找不到确切的等效项，但我使用的是scipy.optimize.fmin_l_bfgs_b。 我在Wikipedia上读到LBFGS-B是LBFGS的盒装版本。 我想他们应该给出相同的结果？

2. 两种实现都通过了数值梯度检查，我认为这意味着梯度计算是正确的。

3. 结果看起来有些正确。 如讲义中所述，正确的实现方式应该是收集线检测器的集合，这意味着每个面片都看起来像直线的图片。

这是Python的结果（成本为0.457）。 Python实现的结果

这是MATLAB的结果（成本为0.446）。 在此处输入图片说明