随机梯度下降 (SGD)

引言

在机器学习和深度学习领域，我们经常需要训练模型来学习数据中的模式。这通常涉及到优化模型参数，使其能够最小化一个损失函数。损失函数衡量了模型预测与真实值之间的差距。梯度下降法是一种常用的优化算法，而随机梯度下降 (SGD) 是梯度下降法的一种重要变体，尤其在处理大规模数据集时非常有效。

定义

随机梯度下降 (Stochastic Gradient Descent, SGD) 是一种迭代优化算法，用于寻找可微分目标函数的局部最小值。与传统的梯度下降法 (Gradient Descent, GD) 不同，SGD 在每次迭代时不是使用整个训练数据集来计算梯度，而是随机选择一个样本或一小批样本 (mini-batch) 来近似计算梯度。

更具体地说，在每次迭代中，SGD 执行以下步骤：

随机选择一个样本 (或一小批样本) (x_i, y_i) 来自训练数据集。
计算损失函数 L 在当前模型参数 θ 下，关于选定样本 (或小批量样本) 的梯度 ∇L(θ; x_i, y_i)。 注意，这里只使用了一个或一小批样本来计算梯度，而不是整个数据集。
更新模型参数 θ 朝梯度下降的方向: θ = θ - η * ∇L(θ; x_i, y_i) 其中 η 是学习率，控制每次迭代的步长。

由于 SGD 每次迭代只使用少量数据计算梯度，因此其计算效率远高于传统的梯度下降法，特别是在处理大规模数据集时。然而，由于梯度的计算是基于随机样本的，因此 SGD 的优化路径会比 GD 更为震荡，但通常也能更快地收敛到局部最小值，尤其对于非凸优化问题，例如神经网络的训练。

应用

随机梯度下降 (SGD) 及其变体 (例如，带 momentum 的 SGD, Adam, RMSprop 等) 在机器学习和深度学习中有着广泛的应用，包括但不限于：

训练深度神经网络: SGD 是训练深度学习模型，尤其是大规模神经网络的标准优化算法。由于神经网络模型参数众多，训练数据量庞大，使用传统的梯度下降法计算梯度非常耗时，而 SGD 的高效性使其成为首选。
线性回归和逻辑回归: 虽然对于凸优化问题，GD 通常能更稳定地收敛，但 SGD 也可以用于训练线性回归和逻辑回归模型，尤其是在数据量很大时。
支持向量机 (SVM): 一些 SVM 的训练算法，例如 Pegasos 算法，也采用了类似于 SGD 的思想进行优化。
在线学习: SGD 非常适合在线学习场景，因为它可以逐个样本进行模型更新，而无需等待整个数据集。

示例

以下是一个使用 Python 和 NumPy 实现简单线性回归的 SGD 示例。

import numpy as np

# 生成一些示例数据
np.random.seed(0)
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

# 初始化模型参数 (w, b)
w = np.random.randn(1, 1)
b = np.random.randn(1)

# 学习率
learning_rate = 0.1
# 迭代次数
n_iterations = 1000

# 随机梯度下降
for iteration in range(n_iterations):
    # 随机选择一个样本的索引
    random_index = np.random.randint(100)
    xi = X[random_index:random_index+1]
    yi = y[random_index:random_index+1]

    # 计算预测值
    y_prediction = np.dot(xi, w) + b

    # 计算梯度
    gradients_w = 2 * xi.T.dot(y_prediction - yi)
    gradients_b = 2 * np.sum(y_prediction - yi)

    # 更新参数
    w = w - learning_rate * gradients_w
    b = b - learning_rate * gradients_b

    # 每迭代 100 次打印一次损失
    if iteration % 100 == 0:
        y_predictions = np.dot(X, w) + b
        mse = np.mean((y_predictions - y)**2)
        print(f"Iteration {iteration}, MSE: {mse}")

print("\n最终模型参数:")
print(f"w: {w[0][0]}, b: {b[0]}")

代码解释:

生成数据: 我们生成了一些线性相关的示例数据，并加入了一些噪声。
初始化参数: 随机初始化线性回归模型的权重 w 和偏置 b。
SGD 迭代:
- 在每次迭代中，我们随机选择一个数据样本 (xi, yi)。
- 计算当前模型参数下，该样本的预测值 y_prediction。
- 计算损失函数 (均方误差 MSE) 关于 w 和 b 的梯度。这里为了简化，直接写出了 MSE 对线性回归参数的梯度公式。
- 使用学习率 learning_rate 和梯度来更新 w 和 b。
打印损失: 为了监控训练过程，我们每 100 次迭代打印一次均方误差 (MSE)。

运行这段代码，你会看到 MSE 逐渐降低，模型参数 w 和 b 逐渐接近真实值 (3 和 4)。

结论

随机梯度下降 (SGD) 是一种简单而强大的优化算法，尤其适用于大规模数据集和非凸优化问题。它的优点在于计算效率高，每次迭代速度快，适用于在线学习和深度学习等场景。然而，SGD 的缺点也很明显：

收敛不稳定: 由于每次迭代只使用少量数据，SGD 的优化路径会比较震荡，可能难以精确收敛到最小值。
需要手动调整学习率: 学习率的选择对 SGD 的性能至关重要，过大的学习率可能导致震荡甚至发散，过小的学习率可能导致收敛速度过慢。
容易陷入局部最小值: 对于非凸优化问题，SGD 可能会陷入局部最小值，虽然在深度学习中，这有时反而能找到泛化能力更好的解。

尽管如此，SGD 及其各种改进版本仍然是现代机器学习和深度学习中最常用的优化算法之一。理解 SGD 的原理和应用对于深入学习机器学习至关重要。

目录

引言

定义

应用

示例

结论