前言

在深度学习中，梯度下降法是一种常用的优化算法，用于更新模型参数以最小化损失函数。这梯度下降法中涉及到数学中的导数、极值等相关知识，因此我们重新回顾相关内容，以便加深理解。

相关概念

导数

一个问题

如何求得一个曲线f(x)中任意一点(x0)的斜率？

核心思想：在曲线上另外存在一个P点，P点无限接近x0，x0和P的连线将无限接近x0点的斜率。

在上图中：

• 我们求x0点和P点的之间的斜率为：

  斜率公式：

  k = \frac{y_1-y_2}{x_1-x_2} = \frac{f(x_0+Δx) - f(x_0)}{Δx}

• 加入极限条件Δx→0趋近于0时

  f'(x) = lim(Δx->0) \frac{f(x + Δx) - f(x)}{Δx}

定义

导数表示函数 f(x) 在某一点 x 处的变化率(或斜率)，通常记作 f'(x) 或 df/dx。

常见求导公式

偏导

接着，我们看下什么是偏导。如下图所示：

• 在左侧的二维平面中，一元函数f(x)在x0的导数为x0点的斜率，即为导数；
• 在右侧的三维空间中，二元函数z = f(x,y)，在固定住y坐标轴(即：y=y0，如图中黑色线段向下切所示)时，求z=f(x, y0)在x0的导数，即为偏导数。

定义

• 偏导数是多元函数在某一点上对某个特定变量的导数，即函数在该点上沿着某个坐标轴方向的变化率。

  偏导数本质上是在多元函数中，通过固定某一变量为常量，将多元降维。

极值与最值

在下面图例函数中，

f(x) = \frac{1}{3}x^3 + \frac{1}{2}x^2 - 2x - 1

通过求导，得到导数为

f'(x) = x^2 + x -2

其中：

• 解方程f'(x) = 0，得到极值点为 x = -2 和 x = 1

  • 当x = -2时，f'(x) < 0；

  • 当x = 1 时，f'(x) > 0；

  • 也就是说：x=-2的左侧是单调递增，x=-2到x=1之间是单调递减，x=-2这个点比左边要高，比右侧也要高，我们把这种点成为极值点。

定义

• 极值是函数在某一点或某一区间内取得的最大值或最小值。极大值是函数在该点附近取得的最大值，极小值是函数在该点附近取得的最小值。

• 最值是函数在定义域内取得的最大值或最小值。最大值是函数在整个定义域内取得的最大值，最小值是函数在整个定义域内取得的最小值。

特别注意：极值≠最值；一个曲线在一段区间内，可能有多个极值，但最值只有一个。

极大值和极小值

若x0是极值点，则f'(x0) = 0，这种情况下有两种可能：

• 若导函数由正往负，那么对应原函数先增后减，那么x0为极大值点。
• 若导函数由负往正，那么对应原函数先减后增，那么x0为极小值点。

参考资料

B站：《"导数"一课通！1h零基础上手》

B站：《“偏导数”一课通！1h零基础上手！|高数下》