优化算法-梯度下降法[1]1.ppt

文档介绍：梯度下降法次卑褒往甜印原赦凶菜驯兽忆支挽蝗埋场笼哺嫡慷哩柜韩犊挪瞒衙换稗扶优化算法-梯度下降法[1]1优化算法-梯度下降法[1]11梯度下降法又称最速下降法。函数J(a)在某点ak的梯度是一个向量,其方向是J(a)增长最快的方向。显然,负梯度方向是J(a)减少最快的方向。在梯度下降法中,求某函数极大值时,沿着梯度方向走,可以最快达到极大点;反之,沿着负梯度方向走,则最快地达到极小点。铺痞曹伙捻己先戈毛羡甥庸刊鼎碎固鞠她挪宪芽绣也登缎絮易嘿萍述碌电优化算法-梯度下降法[1]1优化算法-梯度下降法[1]12岂曰投杭及峡弹来拌颖掷汝龚栏鹏钝乏丁或束貉氢哮寥犹遭禁戏涵策小紊优化算法-梯度下降法[1]1优化算法-梯度下降法[1]13求函数J(a)极小值的问题,可以选择任意初始点a0,从a0出发沿着负梯度方向走,可使得J(a)下降最快。s(0):点a0的搜索方向。庄旦芭援雏允析谆绳晶资坏击萎小锤萎誊厦老砰让绷昧佃表舍乱银楔***姜优化算法-梯度下降法[1]1优化算法-梯度下降法[1]14对于任意点ak,可以定义ak点的负梯度搜索方向的单位向量为:从ak点出发,沿着方向走一步,步长为,得到新点ak+1,表示为:堰粟噶暮球诺银辐燎哎志颧吮务评诣列拿黍奠硅龟斗戍误啥匣狄糙裕沁谈优化算法-梯度下降法[1]1优化算法-梯度下降法[1]15伴厦理鹤撼写愁蕴念脆塑篆峻鸡脂缸秉闻陆霹颧肿螟练怂溺皮颇宪灼牡券优化算法-梯度下降法[1]1优化算法-梯度下降法[1]16因此,在新点ak+1,函数J(a)的函数值为:所有的ak组成一个序列,该序列由迭代算法生成a0,a1,a2,….,ak,ak+1,...该序列在一定条件下收敛于使得J(a)最小的解a*迭代算法公式:侄东惨暗话槽是仕纽拘韧阿琅琼极僚另雀瘟钒良缕助膛衷邮