隨機梯度體面與 x**2 函數的梯度體面

Question

我想通過最簡單的函數示例了解 SGD 和 GD 之間的區別： y=x**2

GD的作用在這里：

def gradient_descent(
    gradient, start, learn_rate, n_iter=50, tolerance=1e-06
):
    vector = start
    for _ in range(n_iter):
        diff = -learn_rate * gradient(vector)
        if np.all(np.abs(diff) <= tolerance):
            break
        vector += diff
    return vector

為了找到 x**2 函數的最小值，我們接下來應該做（答案幾乎是 0，這是正確的）：

gradient_descent(gradient=lambda v: 2 * x, start=10.0, learn_rate=0.2)

我怎么理解，在經典的 GD 中，梯度是根據所有數據點精確計算的。 我上面展示的實現中的“所有數據點”是什么？

此外，我們應該如何現代化這個函數以將其稱為 SGD（SGD 使用一個數據點來計算梯度gradient_descent函數中的“一個點”在哪里？）

Answer 1

您示例中最小化的函數不依賴於任何數據，因此說明 GD 和 SGD 之間的區別無濟於事。

考慮這個例子：

import numpy as np

rng = np.random.default_rng(7263)

y = rng.normal(loc=10, scale=4, size=100)


def loss(y, mean):
    return 0.5 * ((y-mean)**2).sum()


def gradient(y, mean):
    return (mean - y).sum()


def mean_gd(y, learning_rate=0.005, n_iter=15, start=0):
    """Estimate the mean of y using gradient descent"""

    mean = start

    for i in range(n_iter):

        mean -= learning_rate * gradient(y, mean)

        print(f'Iter {i} mean {mean:0.2f} loss {loss(y, mean):0.2f}')

    return mean


def mean_sgd(y, learning_rate=0.005, n_iter=15, start=0):
    """Estimate the mean of y using stochastic gradient descent"""

    mean = start

    for i in range(n_iter):

        rng.shuffle(y)
        for single_point in y:
            mean -= learning_rate * gradient(single_point, mean)

        print(f'Iter {i} mean {mean:0.2f} loss {loss(y, mean):0.2f}')

    return mean


mean_gd(y)
mean_sgd(y)
y.mean()

GD 和 SGD 的兩個（非常簡單）版本用於估計隨機樣本y的均值。 通過最小化平方loss來估計均值。 正如您正確理解的那樣，在 GD 中，每次更新都使用在整個數據集上計算的梯度，而在 SGD 中，我們一次只查看一個隨機點。