即使`maxiter = 0`，`scipy.optimize`函数也会挂起。

Question

我正在尝试通过简单的多类逻辑回归训练MNIST数据（我从Kaggle下载），但是scipy.optimize函数挂起了。

这是代码：

import csv
from math import exp
from numpy import *
from scipy.optimize import fmin, fmin_cg, fmin_powell, fmin_bfgs

# Prepare the data

def getIiter(ifname):
    """
    Get the iterator from a csv file with filename ifname
    """
    ifile = open(ifname, 'r')
    iiter = csv.reader(ifile)
    iiter.__next__()
    return iiter

def parseRow(s):
    y = [int(x) for x in s]
    lab = y[0]
    z = y[1:]
    return (lab, z)

def getAllRows(ifname):
    iiter = getIiter(ifname)
    x = []
    l = []
    for row in iiter:
        lab, z = parseRow(row)
        x.append(z)
        l.append(lab)
    return x, l

def cutData(x, y):
    """
    70% training
    30% testing
    """
    m = len(x)
    t = int(m * .7)
    return [(x[:t], y[:t]), (x[t:], y[t:])]

def num2IndMat(l):
    t = array(l)
    tt = [vectorize(int)((t == i)) for i in range(10)]
    return array(tt).T

def readData(ifname):
    x, l = getAllRows(ifname)
    t = [[1] + y for y in x]
    return array(t), num2IndMat(l)

#Calculate the cost function

def sigmoid(x):
    return 1 / (1 + exp(-x))

vSigmoid = vectorize(sigmoid)
vLog = vectorize(log)

def costFunction(theta, x, y):
    sigxt = vSigmoid(dot(x, theta))
    cm = (- y * vLog(sigxt) - (1 - y) * vLog(1 - sigxt)) / m / N
    return sum(cm)

def unflatten(flatTheta):
    return [flatTheta[i * N : (i + 1) * N] for i in range(n + 1)]

def costFunctionFlatTheta(flatTheta):
    return costFunction(unflatten(flatTheta), trainX, trainY)

def costFunctionFlatTheta1(flatTheta):
    return costFunction(flatTheta.reshape(785, 10), trainX, trainY)

x, y = readData('train.csv')
[(trainX, trainY), (testX, testY)] = cutData(x, y)

m = len(trainX)
n = len(trainX[0]) - 1
N = len(trainY[0])

initTheta = zeros(((n + 1), N))
flatInitTheta = ndarray.flatten(initTheta)
flatInitTheta1 = initTheta.reshape(1, -1)

在最后两行中，我们将initTheta展平，因为fmin{,_cg,_bfgs,_powell}函数似乎只将向量用作初始值参数x0 。 我也使用reshape展平了initTheta ，希望这个答案可以有所帮助。

计算成本函数没问题，在我的计算机上花费不到2秒：

print(costFunctionFlatTheta(flatInitTheta), costFunctionFlatTheta1(flatInitTheta1))
# 0.69314718056 0.69314718056

但是，即使我设置maxiter=0 ，所有fmin函数也会挂起。 例如

newFlatTheta = fmin(costFunctionFlatTheta, flatInitTheta, maxiter=0)

要么

newFlatTheta1 = fmin(costFunctionFlatTheta1, flatInitTheta1, maxiter=0)

当我中断程序时，在我看来，这一切都挂在optimize.py行上，调用cost函数，如下所示：

return function(*(wrapper_args + args))

例如，如果我使用fmin_cg ，这将是optimize.py （版本0.5）中的第292行。

我该如何解决这个问题？

Answer 1

好的，我找到了一种阻止fmin_cg挂起的方法。

基本上，我只需要编写一个计算cost函数的梯度的函数，然后将其传递给fprime参数fmin_cg 。

def gradient(theta, x, y):
    return dot(x.T, vSigmoid(dot(x, theta)) - y) / m / N

def gradientFlatTheta(flatTheta):
    return ndarray.flatten(gradient(flatTheta.reshape(785, 10), trainX, trainY))

然后

newFlatTheta = fmin_cg(costFunctionFlatTheta, flatInitTheta, fprime=gradientFlatTheta, maxiter=0)

在几秒钟内终止，将maxiter设置为更高的数字（例如100），可以在合理的时间内训练模型。

fmin_cg的文档说，如果未给出fprime ，则将以数值方式计算梯度，这是我怀疑导致悬挂的原因。

感谢zgo2016 @ Kaggle的笔记本，它帮助我找到了解决方案。