Python中超定非线性方程组的数值求解

Question

这是我的问题的一个最小示例-使用scipy.optimize.leastsq解决

from scipy.optimize import leastsq
from numpy import array, exp, sin, cos

def MatrixFun(x, *par):
    a, b, c, d = par
    m11 = a*sin(x[0])+b*cos(x[1])
    m12 = c*cos(x[0])*sin(x[1])
    m21 = c*sin(x[0])/cos(x[1])
    m22 = d*exp(x[0]*x[1])
    M = array([[m11, m12], [m21, m22]])
    return M

def Residualvector(x, parameters):
    MatrixAim = MatrixFun([-1 , 1], *parameters)
    return (MatrixFun(x, *parameters)-MatrixAim).flatten()

parameters = [1, 2, 3, 4]
start = [0, 0]
print(leastsq(Residualvector, start, args=parameters))

问题：

• 需要一个良好的起点
• 无法在我的实际系统中收敛到所需的值
• 我需要x的约束

这是示例问题的我的蛮力解决方案

from numpy import ones, array, arange, exp, sin, cos, sum, abs, argmin
from itertools import product as iterprod

def MatrixFun(x, *par):
    a, b, c, d = par
    m11 = a*sin(x[0])+b*cos(x[1])
    m12 = c*cos(x[0])*sin(x[1])
    m21 = c*sin(x[0])/cos(x[1])
    m22 = d*exp(x[0]*x[1])
    M = array([[m11, m12], [m21, m22]])
    return M  

def ResidualMatrix(x, parameters):
    MatrixAim = MatrixFun([-1 , 1], *parameters)
    return MatrixFun(x, *parameters)-MatrixAim

def MyBruteMatrixMinimizer(ResidualMatrix, ranges, args=()):
    pathongrid = list(iterprod(*ranges))
    pathlength = len(pathongrid)
    MatSum = ones(pathlength)
    for i in range(pathlength):
        MatSum[i] = sum(abs(ResidualMatrix(pathongrid[i], args)))
    pathgoal = pathongrid[argmin(MatSum)]
    return pathgoal

parameters = [1, 2, 3, 4]
ranges = [arange(-2,0,1e-2), arange(0,2,1e-2)]

print(MyBruteMatrixMinimizer(ResidualMatrix, ranges, args=parameters))

问题：

• 慢
• 稳定性不清楚

我宁愿使用scipy.optimize.brute或scipy.optimize.basinhopping两者都导致错误TypeError: fsolve: there is a mismatch between the input and output shape of the 'func' argument 'F' 。 这很明显，因为我的矩阵具有比变量更多的方程（超定）。
到目前为止，我唯一的想法是总结尽可能多的方程式的绝对值以减小输出形状的大小-但我对此绝对不满意。
对于替代或改进的解决方案或任何其他建议，我将不胜感激。

Answer 1

我通常不使用最小二乘，而是使用良好的NLP（非线性编程）求解器。 这意味着，对于F(x)=b显式形式：

min w'w
F(x) = b + w 

对于任何非平凡的NLP，我们当然要注意：

1. 提供良好的界限（确保可以评估所有函数和渐变）
2. 提供一个很好的起点
3. 注意缩放
4. 注意奇点。 例如，您的部门可能应该重新制定
5. 如果不使用带有自动微分的建模系统，请指定正确和精确的梯度（如果需要，请指定二阶导数）。 对于复杂的模型，我建议使用支持自动微分和多个非线性求解器（例如GAMS或AMPL ）的建模系统。