Crash into CV

线性回归中的数学

Q&A

Q: 介绍随机梯度下降算法

A: 随机梯度下降（Stochastic Gradient Descent，SGD）是一种常用的优化算法，用于训练机器学习模型，特别是在大规模数据集上。

梯度下降算法的目标是最小化一个损失函数，通过迭代更新模型的参数来逐步接近最优解。传统的梯度下降算法在每次迭代中都需要计算所有样本的梯度，然后更新参数。然而，当数据集很大时，这样的计算开销会很高。

随机梯度下降算法通过每次迭代只随机选择一个样本来估计梯度，并根据该估计更新参数。与传统梯度下降相比，随机梯度下降的计算开销较小，使得它在大规模数据集上更具可行性。

下面是随机梯度下降算法的基本步骤：

1. 初始化模型参数：根据模型的要求，初始化参数的值。
2. 随机选择一个样本：从训练数据集中随机选择一个样本。
3. 计算梯度：对于选择的样本，计算损失函数关于模型参数的梯度。
4. 更新参数：使用梯度信息来更新模型参数。通常使用学习率（learning rate）来控制每次更新的步长。
5. 重复步骤2-4：重复执行步骤2到步骤4，直到达到预定的迭代次数或收敛条件。

随机梯度下降算法的主要优点是计算开销相对较小，尤其适用于大规模数据集。然而，由于每次迭代只使用一个样本，随机梯度估计可能会存在较大的方差，导致参数更新的不稳定性。为了解决这个问题，可以采用一些改进的随机梯度下降算法，如批量随机梯度下降（mini-batch SGD），它在每次迭代中使用一小批样本来估计梯度，并更新参数。这样可以在一定程度上平衡计算效率和参数更新的稳定性。

Q: 学习率如何确定

A: 确定学习率是梯度下降算法中的一个重要步骤，它决定了参数更新的步长。选择不合适的学习率可能导致训练过程不稳定、收敛速度过慢或无法收敛到最优解。以下是确定学习率的常见方法：

1. 经验选择：根据经验或领域知识，选择一个合适的学习率。这通常需要进行多次实验和调整，以找到一个在给定问题上表现良好的学习率。
2. 网格搜索：尝试一系列预定义的学习率值，并评估每个学习率下的模型性能。可以通过交叉验证或验证集上的性能指标来选择最佳学习率。
3. 学习率衰减：开始时使用较大的学习率，然后随着训练的进行逐渐减小学习率。学习率衰减可以使模型在开始时更快地收敛，然后在接近最优解时精细调整参数。
4. 自适应学习率方法：使用自适应的学习率算法，根据模型在训练过程中的性能自动调整学习率。例如，AdaGrad、RMSProp 和 Adam 等优化算法根据梯度的历史信息来调整学习率。
5. 损失函数的曲线观察：观察损失函数在训练过程中的变化情况。如果损失函数在迭代过程中震荡或发散，可能是学习率太大，需要减小学习率。如果损失函数收敛速度过慢，可能是学习率太小，需要增大学习率。

需要注意的是，学习率的选择是一项挑战性的任务，没有通用的最佳策略，因为它受到数据集、模型复杂度和训练算法等多个因素的影响。因此，通常需要进行实验和调整，以找到适合特定问题的学习率。

Q: 举一个计算梯度的例子

A: 假设我们有一个简单的二元函数 f(x, y) = x^2 + y^2，其中 x 和 y 是参数。现在我们希望找到使得函数 f 取得最小值的参数配置。

我们可以计算函数 f 对于参数 x 和 y 的偏导数，得到梯度向量 (∂f/∂x, ∂f/∂y)。在这个例子中，梯度向量的每个分量可以通过对应参数的偏导数来计算。

偏导数 ∂f/∂x 表示在给定的点 (x, y) 上，函数 f 关于参数 x 的变化率。类似地，偏导数 ∂f/∂y 表示函数 f 关于参数 y 的变化率。

计算偏导数的结果如下：

∂f/∂x = 2x
∂f/∂y = 2y

假设我们在初始点 (x0, y0) = (1, 2)，现在我们可以计算该点处的梯度值：

∂f/∂x = 2x0 = 2(1) = 2
∂f/∂y = 2y0 = 2(2) = 4

因此，初始点 (1, 2) 处的梯度向量为 (2, 4)。

根据梯度的信息，我们可以知道在点 (1, 2) 处函数 f 在 x 方向上的斜率为 2，而在 y 方向上的斜率为 4。这意味着我们应该朝着 x 方向减小 x 的值以及朝着 y 方向减小 y 的值，以使函数 f 下降最快。

使用梯度下降算法，我们可以更新参数的值，例如使用学习率为 0.1：

新的 x = 1 - 0.1 2 = 0.8
新的 y = 2 - 0.1 4 = 1.6

通过迭代更新参数，我们可以逐渐接近函数 f 的最小值点 (0, 0)。

Q: 在梯度下降算法中，为什么不将梯度向量单位化

A: 在梯度下降算法中，我们通常不将梯度向量单位化（即将其转换为单位向量）。这是因为梯度的长度（即梯度向量的范数）包含了有关损失函数的重要信息，长度较大的梯度表示在当前参数配置下，损失函数的变化率较大，需要更大的步长来更新参数。

将梯度向量单位化会将其长度归一化为1，这将使得每次参数更新的步长只依赖于学习率的大小，而不再考虑梯度的幅度。这可能导致问题，因为不同的参数可能具有不同的梯度幅度，某些参数可能需要更大的步长来更新，而其他参数可能需要更小的步长。

通过保留梯度向量的长度信息，我们可以根据梯度的幅度来自适应地调整参数的更新步长。较大的梯度表示在当前参数配置下，函数的变化较大，因此需要更大的步长来更新参数。相反，较小的梯度表示函数的变化较小，因此可以使用较小的步长以避免在最优解附近发生震荡或错过最优解。

因此，在梯度下降算法中，我们将梯度向量的方向和幅度都考虑在内，通过乘以学习率来控制参数更新的步长，以便更有效地搜索损失函数的最小值点。

3.1.6练习

1. 假设我们有一些数据$x_1,x_2,…,x_n \in R$。我们的目标是找到一个常数$b$，使得最小化$\sum_i(x_i-b)^2$
   1. 找到最优值$b$的解析解。
   2. 这个问题及其解与正态分布有什么关系?

Q1

​ 设目标函数：

$$f(\bold{x})=\sum_i(x_i-b)^2$$

对$b$求导，令导数为零。

$$\frac{\partial f(\bold{x})}{\partial b} = nb-\sum_i x_i=0$$

可得

$$b=\frac1n\sum_ix_i=\overline{x}$$

最优值为$x_1,x_2,…,x_n$的均值。

Q2

假设$x_1,…,x_n$取自符合正态分布的整体$X\sim N(\mu,\sigma^2)$。则$\mu$的极大似然估计即为$b$。

1. 推导出使用平方误差的线性回归优化问题的解析解。为了简化问题，可以忽略偏置$b$（我们可以通过向$X$添加所有值为1的一列来做到这一点）。

   1. 用矩阵和向量表示法写出优化问题（将所有数据视为单个矩阵，将所有目标值视为单个向量）。

   2. 计算损失对$w$ 的梯度。

   3. 通过将梯度设为0、求解矩阵方程来找到解析解。

   4. 什么时候可能比使用随机梯度下降更好？这种方法何时会失效？

Q1

目标函数：

$$f(\bold{w})=\frac12 || \bold{y}-\bold{X}\cdot w ||_2^2$$

$||\cdot||_2$表示欧几里得范数（L2范数）。

其取得最小值点的必要条件为：

$$\nabla_w\left(\frac12\cdot\|y-X\cdot w\|_2^2\right)=0.$$

因为

$$\|y-X\cdot w\|_2^2=(y-X\cdot w)^T\cdot(y-X\cdot w)=y^T\cdot y-2\cdot y^T\cdot X\cdot w+w^T\cdot X^T\cdot X\cdot w$$

对上式求导，即可得：

$$\nabla_w\left(\frac12\cdot\|y-X\cdot w\|_2^2\right)=-X^T\cdot y+X^T\cdot X\cdot w.$$

对向量求导？得到的结果是一个同维度向量。详见2.4. 微积分 — 动手学深度学习

矩阵求导（本质、原理与推导）详解-CSDN博客