不同的线性回归初始权重值收敛到不同的最小化代价值

Question

我已经在 python 中实现了一个单变量线性回归。 代码如下：

import numpy as np
import matplotlib.pyplot as plt

x = np.array([1,2,4,3,5,7,9,11])
y = np.array([3,5,9,7,11,15,19,23])

def hypothesis(w0,w1,x):
  return w0 + w1*x

def cost_cal(y,w0,w1,x,m):
  diff = hypothesis(w0,w1,x)-y
  diff_sqr = np.square(diff)
  total_cost = np.sum(diff)
  total_cost_sqr = (1/(2*m)) * np.sum(diff_sqr)
  return total_cost, total_cost_sqr

def gradient_descent(w0,w1,alpha,x,m,y):
  cost, cost_sqr = cost_cal(y,w0,w1,x,m)
  temp0 = (alpha/m) * cost
  temp1 = (alpha/m) * np.sum(cost*x)
  w0 = w0 - temp0
  w1 = w1 - temp1
  return w0,w1

这些是我在 python 中实现的假设、成本和梯度下降函数。 当我使用初始权重w0 = 0和w1 = 0 ，我的最小成本是0.12589726000013188 。 但是，如果我初始化w0 = -1和w1 = -2 ，最小化成本是0.5035890400005265 。 使用不同初始重量值的不同最低成本背后的原因是什么？ 作为误差函数MSE，是一个凸函数，不应该达到全局最小值吗？ 难道我做错了什么？

w0=0
w1=0
alpha =0.0001
m = 8
z = 5000
c = np.zeros(z)
cs = np.zeros(z)
w0_arr=np.zeros(z)
w1_arr=np.zeros(z)
index = np.zeros(z)
i = 0

while (i<z):
  index[i] = i
  c[i],cs[i] = cost_cal(y,w0,w1,x,m)
  #print(i, c[i], cs[i])
  w0, w1 = gradient_descent(w0,w1,alpha,x,m,y)
  w0_arr[i],w1_arr[i] = w0,w1
  i=i+1

inc = np.argmin(cs)
print(inc)
print(cs[inc])

Answer 1

答案可能因您在权重空间中选择的初始向量而异。 除了成本函数是凸的，曲线有许多临界点，所以它完全取决于初始点或权重，我们最终在局部或全局最小值中。

图片链接https://1.bp.blogspot.com/-ltxplazySpc/XQG4aprY2iI/AAAAAAAABVo/xAqLIln9OWkig5rq4AU2sBFuPBuxW5CFQCLcBGAs/w1200-h630-pk-no-nu/local_vs.global_minima

根据给定链接中的图像，如果您从位于左角的初始点开始，我们最终会到达全局最小值，如果我们从右端开始，我们最终会到达局部最小值。 成本可能会有很大差异，但在大多数情况下，在局部或全局最小值的情况下差异不是很大，因此如果成本差异很大，您需要交叉检查一次。 随机选择初始权重是一种很好的做法，不应手动设置它们。

在gradient_descent函数中，temp0被分配了一个数组而不是值，该数组的总和必须在添加之前完成。