让AI知识触手可及

首页 » 【重拾数学知识】导数、极值和最值

前言

在深度学习中,梯度下降法是一种常用的优化算法,用于更新模型参数以最小化损失函数。这梯度下降法中涉及到数学中的导数极值等相关知识,因此我们重新回顾相关内容,以便加深理解。

相关概念

导数

一个问题

如何求得一个曲线f(x)中任意一点(x0)的斜率?

核心思想:在曲线上另外存在一个P点,P点无限接近x0,x0和P的连线将无限接近x0点的斜率。

在上图中:

  • 我们求x0点和P点的之间的斜率为:

    斜率公式:

    k=y1y2x1x2=f(x0+Δx)f(x0)Δxk = \frac{y_1-y_2}{x_1-x_2} = \frac{f(x_0+Δx) - f(x_0)}{Δx}

  • 加入极限条件Δx→0趋近于0时

    f(x)=lim(Δx>0)f(x+Δx)f(x)Δxf'(x) = lim(Δx->0) \frac{f(x + Δx) - f(x)}{Δx}

定义

导数表示函数 f(x) 在某一点 x 处的变化率(或斜率),通常记作 f'(x) 或 df/dx。

常见求导公式

偏导

接着,我们看下什么是偏导。如下图所示:

  • 在左侧的二维平面中,一元函数f(x)在x0的导数为x0点的斜率,即为导数;
  • 在右侧的三维空间中,二元函数z = f(x,y),在固定住y坐标轴(即:y=y0,如图中黑色线段向下切所示)时,求z=f(x, y0)在x0的导数,即为偏导数

定义

  • 偏导数是多元函数在某一点上对某个特定变量的导数,即函数在该点上沿着某个坐标轴方向的变化率。

    偏导数本质上是在多元函数中,通过固定某一变量为常量,将多元降维。

极值与最值

在下面图例函数中,

f(x)=13x3+12x22x1f(x) = \frac{1}{3}x^3 + \frac{1}{2}x^2 - 2x - 1

通过求导,得到导数为

f(x)=x2+x2f'(x) = x^2 + x -2

其中:

  • 解方程f'(x) = 0,得到极值点为 x = -2 和 x = 1

    • 当x = -2时,f'(x) < 0;

    • 当x = 1 时,f'(x) > 0;

    • 也就是说:x=-2的左侧是单调递增,x=-2到x=1之间是单调递减,x=-2这个点比左边要高,比右侧也要高,我们把这种点成为极值点。

定义

  • 极值是函数在某一点或某一区间内取得的最大值或最小值。极大值是函数在该点附近取得的最大值,极小值是函数在该点附近取得的最小值。

  • 最值是函数在定义域内取得的最大值或最小值。最大值是函数在整个定义域内取得的最大值,最小值是函数在整个定义域内取得的最小值。

特别注意:极值≠最值;一个曲线在一段区间内,可能有多个极值,但最值只有一个。

极大值和极小值

若x0是极值点,则f'(x0) = 0,这种情况下有两种可能:

  • 若导函数由正往负,那么对应原函数先增后减,那么x0为极大值点。
  • 若导函数由负往正,那么对应原函数先减后增,那么x0为极小值点。

参考资料

B站:《"导数"一课通!1h零基础上手》

B站:《“偏导数”一课通!1h零基础上手!|高数下》

欢迎关注公众号以获得最新的文章和新闻

声明:一起AI技术所有文章,如无特殊说明或标注,均为本站作者原创发布。任何个人或组织,在未征得作者同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。
原创不易,内容版权受保护,感谢您的尊重与支持。
0 0 投票数
Article Rating
订阅评论
提醒
guest的头像


2 评论
内联反馈
查看所有评论
李泉亮的头像
李泉亮
9 月 前

牛!梯度和梯度下降我还是不太懂

郑滔的头像
郑滔
9 月 前

感谢整理!非常有用!

Picture of Dongming
Dongming
见天地,见众生,见自己。

分类文章

推荐活动

推荐文章

【学习总结】MCP协议之MCP简述
【学习总结】MCP协议之使用AgentSDK调用MCP-server
【学习总结】MCP协议之MCP-server(sse方式)实践
【模型测试】大模型评测工具lm-evaluation-harness的使用方法总结
【模型测试】大模型评测工具OpenCompass使用方法总结
【模型部署】在Dify中接入ComfyUI+Flux实现文生图
为什么Qwen能自我改进推理,Llama却不行?斯坦福找到了原理
【项目实战】基于esp32开发板+大模型实现的语音助手-软件篇
【项目实战】基于esp32开发板+大模型实现的语音助手-模型篇
【项目实战】基于esp32开发板+大模型实现的陪伴助手-硬件篇
2
0
希望看到您的想法,请您发表评论x