机器学习中的梯度下降法

发布时间：2023-10-23 17:00

1. 机器学习中为什么需要梯度下降

梯度下降是机器学习中常见优化算法之一，梯度下降法有以下几个作用：

（ 1 ）梯度下降是迭代法的一种，可以用于求解最小二乘问题。

（ 2 ）在求解机器学习算法的模型参数，即无约束优化问题时，主要有梯度下降法（ Gradient Descent ）和最小二乘法。

（ 3 ）在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。

（ 4 ）如果我们需要求解损失函数的最大值，可通过梯度上升法来迭代。梯度下降法和梯度上升法可相互转换。

（ 5 ）在机器学习中，梯度下降法主要有随机梯度下降法和批量梯度下降法。

2. 梯度下降法缺点

梯度下降法缺点有以下几点：

（ 1 ）靠近极小值时收敛速度减慢。

（ 2 ）直线搜索时可能会产生一些问题。

（ 3 ）可能会 “ 之字形 ” 地下降。

梯度概念也有需注意的地方：

（ 1 ）梯度是一个向量，即有方向有大小。

（ 2 ）梯度的方向是最大方向导数的方向。

（ 3 ）梯度的值是最大方向导数的值。

3. 梯度下降法直观理解

梯度下降法经典图示如下图所示：

$\"机器学习中的梯度下降法_第1张图片\"$ 梯度下降法经典图示

形象化举例，由上图所示，假如最开始，我们在一座大山上的某处位置，因为到处都是陌生的，

不知道下山的路，所以只能摸索着根据直觉，走一步算一步，在此过程中，每走到一个位置的时候，都会求解当前位置的梯度，沿着梯度的负方向，也就是当前最陡峭的位置向下走一步，然后继续求解当前位置梯度，向这一步所在位置沿着最陡峭最易下山的位置走一步。不断循环求梯度，就这样一步步地走下去，一直走到我们觉得已经到了山脚。当然这样走下去，有可能我们不能走到山脚，而是到了某一个局部的山势低处。

由此，从上面的解释可以看出，梯度下降不一定能够找到全局的最优解，有可能是一个局部的最优

解。当然，如果损失函数是凸函数，梯度下降法得到的解就一定是全局最优解。

核心思想归纳 ：