最陡下降算法是什么

Fanly 2020-10-08 00:10:09
QA

最陡下降法又称梯度下降法是一个一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。

最陡下降法(steepest descent method)又称梯度下降法(英语:Gradient descent)是一个一阶最优化算法

最陡下降算法是什么

要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部极大值点;这个过程则被称为梯度上升法。

描述

梯度下降方法基于以下的观察:如果实值函数

因而,如果

对于

,

因此可得到

如果顺利的话序列

图片示例了这一过程,这里假设

算法框图

算法框图如下:

例子

梯度下降法处理一些复杂的非线性函数会出现问题,例如 Rosenbrock 函数:

其最小值在(x,y)=(1,1)处,数值为 0,但是此函数具有狭窄弯曲的山谷

,最小值(x,y)=(1,1)就在这些山谷之中,并且谷底很平。优化过程是之字形的向极小值点靠近,速度非常缓慢。

缺点

梯度下降法的缺点包括:

靠近极小值时速度减慢;

直线搜索可能会产生一些问题;

可能会“之字型”地下降。

0个人收藏 收藏

评论交流

泪雪默认头像 请「登录」后参与评论
  1. 加载中..

相关推荐

  • 最大期望算法是什么

    最大期望算法是什么

    最大期望算法(EM)是一类通过迭代进行极大似然估计的优化算法,通常作为牛顿迭代法的替代用于对包含隐变量或缺失数据的概率模型进行参数估计。
  • 蚁群算法是什么

    蚁群算法是什么

    蚁群算法是一种用来寻找优化路径的概率型算法。其灵感来源于蚂蚁在寻找食物过程中发现路径的行为,这种算法具有分布计算、信息正反馈和启发式搜索的特征,本质上是进化算法中的一种启发式全局优化算法。
  • 竞争算法是什么

    竞争算法是什么

    帝国竞争算法(imperialist competitive algorithm, ICA )是一种受帝国竞争行为启发的新的智能优化算法,它与粒子群优化(PSO)、蚁群(BCO)等算法一样,都属于基于群体的随机优化搜索算法。
  • 电脑用户名 Documents and Settings

    如何更改电脑开机页面上的用户名

    更改电脑开机页面用户名可在设置更改,打开设置点击账户选择账户信息,点击管理我的Microsoft账户,会跳转到网页在这里更改,之后重启;或打开控制面板点击用户账户选更改账户类型,选择要修改上的账户点击更改账户名,输入名称点更改名称重启即可。
  • Win11 photo application

    Win11照片应用打开即闪退如何解决

    Win11照片应用打开即闪退,可在设置更新Win11和照片应用;再重置照片应用清除应用的数据和缓存;使用系统内置故障排除器,将自动检测和修复导致照片应用闪退的问题;更新显卡驱动,提升系统稳定性和应用兼容性;重新安装照片应用修复应用本身问题。
  • Tesla 特斯拉

    哪些车有哨兵模式

    哨兵模式作为电动汽车的安全监控功能,已被特斯拉、蔚来、小鹏和理想等多个知名品牌采纳。该功能通过摄像头和传感器实时监控车辆周围,发现异常即触发警报并记录影像,为车主提供安全保障。未来,更多车型将加入哨兵模式行列,提升行车安全。