文档介绍：第卷第期经济数学理·
拓年月’卫拓
一种新的记忆梯度法及其收敛性‘
张祖华时贞军王长枉
曲阜师范大学运筹与管理学院,山东日照,
摘要本文提出一种新的无约束优化记忆梯度算法,算法在每步迭代时利用了前面迭代点的信息,增加了
参数选择的自由度,适于求解大规模无约束优化问题分析了算法的全局收敛性数值试验表明算法是有效
的
关键词无约束优化,记忆梯度法,线性搜索,全局收敛性
引言
考虑无约束优化问题
,任“·
其中,为维欧氏空间,一’是一连续可微函数大多数求解问题的算法是迭代算
法,最常用的是线性搜索算法,常采用如下形式
、二、,秃,,,⋯,
其中是搜索方向,。、是步长参数若二、为当前迭代点,则分别记二为,为,
’为’,。,。二。。,一,归。。,其中,
。任‘。,刁表示的边界
一般情况下,共扼梯度法是求解无约束何优化问题的有效算法之一,它能有效避免存贮和
计算矩阵,适于求解大规模无约束优化问题记忆梯度法也具有类似的性质「〕,「〕,「」
记忆梯度算法和超记忆梯度算法实际上是共扼梯度法的一种推广,它可更充分地利用
前面迭代点的信息,增加了参数选择的自由度,由此可以构造稳定的收敛均匀的算法参看
〕,「〕,「,对于求解大型病态问题是一个种有效的算法途径但是,记忆步数越多,则计算
公式越复杂在实际问题中,记忆二步到三步比较合适本文利用【」中提出的线性搜索设计了
一种新记忆梯度算法,并在较弱的条件下证明了算法的全局收敛性
记忆梯度法
假设
目标函数在水平集。任‘。上有下界,这里。为初始
点
国家自然科学基金项目资助
收稿日期仪巧一肠一
经济数学第卷
梯度函数二二在包含。的开凸集上连续,即存在常数使
创二一川‘一,二,任
其中,丑满足尸归刀乙。
文【提出一种新的线性搜索规则,我们将该线性搜索用到本文算法中

算法
给出产,产,。,。任且置二仇
步若则停否则转步
步会一,,这里为满足下式的任’￡,￡尸,占’,⋯,冲的最大者
一一云‘·,,二一。会〔扭无·,告·无’〕
其中
一, 若,
‘嘴
一咬一、若全
若二,

若全
步估计
系

, 气

步置,转步
容易看出,该算法有一个重要特点,在每步迭代中,它的方向和步长是同时确定的这有利
于找到更合适的搜索方向和步长为方便,有时记
容易证明下面几个引理
引理若成立,则存在。‘使
‘‘
引理对任意七若任,」则有
从‘一川’
引理对于全和任,有
‘
左性去
全局收敛性
引理如果,和成立,算法产生无穷点列、,则序列和日
有界
证明由引理可知,我们只要证明有界即可令

占、
三匕人
若、无界,则
第期张祖华时贞军王长钮一种新的记忆梯度法及其收敛性
友哭氏二,·
因而必存在无穷子列,,,,,二,使
、
,
占、日,任浑、声
且
、
、
炭
、一少
占介任刃,无
由引理,和式可得
人一‘一瓮无,二一。会〔。扭‘一,告一‘,’“

一
七产会仁‘一川’」

一口
全召会〔‘一夕、’、’