文档介绍：猼輒,瓽,.颓鷏——.,.甆,,,瓹,,瑂琾..—
,,琻甅,
渌,鴉,其中,蔈”∽紀√∈—,设上辏瑄￡:,当,∈厶时,.O咝扛∈保篽≤琂∈籬,把』,...,加￡琺。,,。,%,蔽L肥峡占洹最优化问题超记忆梯度算法简介函数;当/希菏保琙为非线性函数。最优化是从所有可能方案中选择最合理的一种达到最优目标的学科。最优化问题的解决意味着在相同条件下获得最优的方案,得到最高的效益。达到最优目标的方法就是最优化方法。最优化方法是运筹学的一个重要组成部分,在自然科学,社会科学,生产实践,工程设计和现代化管理中具有广泛的应用。很多实际问题都可以归结为最优化问题来解决。最优化的一个核心是设计有效的算法。本文将设计有效的超记忆梯度算法求解几类最优化问题。本文将讨论无约束最优化问题和约束最优化问题,形式如下无约束最优化问题:约束优化问题,按约束条件可表示为很多类型,本文讨论以下几类,其中,其中,”是非空闭凸集,厂篟”寸荙上一阶连续可微函数。其中,,篟”一是一阶连续可微函数。考虑无约束优化问题,大连理工大学博士研究生学位论文
小\雓,/,‘%蠲А胍唬置Ⅵ缸。’卿厂舻’,..琖,‘“:。產。.R粀芲敏。舻#痜瑌卢≯占。一R唬!!以一让’漆宜啤女々一佧’摺鱴猯,汜夥,其迭代形式如下:卢,—一阂猤々求解问题墓查钐荻确ā緇~樟菜俣瓤欤娲⒘啃。视谇蠼獯蠊婺N侍狻吼是步长。它可通过某种策赂确定,羼是一参数,参数不同对应的共轭梯度法不同。分别称为,,共轭梯度法,三者比较,算法具有较好的收敛性质,而后两者数值表现差不多,都优于算法。记忆梯度法是共轭梯度法的一种变形和改进,它具有比共轭梯度法更快的收敛速度。文献【】介绍了记忆梯度法。基本公式为:其中,拗,△一,獂,。随后,文献坷眉且涮荻确ǖ幕舅枷耄黾蛹且湎畹南钍氤琧己忆梯度法,由于这类方法在迭代中较多地利用了己经得到的目标函数的某些信息,因而具有比记忆梯度法较快的收敛速度,大量的数值例子证明了这一点【】。一其中,/:盻尺且唤琢晌⒑.如:五’Ⅲ洋。搿.
查堡里三查堂堂豪至兰兰篁堡苎————————————————一讯单调减少且;是,序列扩⒉灰欢ㄊ樟驳轿侍的最优值,即使厂峭购骢』吼‘“醝厂求解问题南陆邓惴ㄒ话闶遣恍蛄衚愣匀我鈑,。有聚点的序列,因此有必要讨论无聚点时算法较强的收敛性质,对此问题的讨显然,如果有一个收敛子列,则换岵欢陆邓惴ú⒉灰欢ú桓其中,缸。可见,记忆梯度法在每一次迭代中需要作一次二维搜索,超记忆梯度法在每一次迭代中需要作一次,维搜索,这一点很不理想。为此,很多文献对算法进行了改进卜。文献渴紫冉ǔ且涮荻确ǖ亩辔匪阉鞲脑煳R晃蔷匪阉鳎⒅明了改进算法具有”步超线性的收敛速度,从而使超记忆梯度法更具实用性。超记忆梯度算法的本质在于用前几次迭代方向去修正当前点的负梯度得到下降的巩籚吒展,币纾以一⋯模琩¨即NT诘鼻暗恪氪Φ南陆捣较颍局噬霞捶纾,⋯,以,,的取法。文献慷晕拊际优化问题在,时,提出了反.。的取值为区间的超记忆梯度算法,并在水平集有界的条件下证明了算法的收敛性质。橇晌⑼购论已比较多见,大都是对梯度法讨论。可以从这里入手讨论超记忆梯度算法的收梯度投影法是求解非线性约束最优化问题的基本方法之一,国内外学者对此建立了求解非线性不等式约束优化间题的计算量小,算法稳定的梯度摄动投影算法;文献坷霉阋逋队敖⒘饲蠼夥窍咝缘仁胶筒坏仁皆际呕侍獾募扑懔啃。榷ǖ广义梯度投影算法;文献:乖霉阋逋队敖⒘饲蠼夥窍咝圆坏仁皆际呕侍獾募算量小,算法稳定的任意初始点下的广义梯度投影算法;文献借助于队凹记迭代方向,即事实上,。梯度投影算法与其它方法结合,也得到了许多有效算法在最优化领域占有重要地位。如文献雨肦投影建立了解带线性或非线性约束最优化问题的计算量小,稳定的梯度投影算法;文献利用摄动投影矩阵,一。唬琸≥托.
————!!!!!!瘛!!!!!!!!!!!!!!猒————————————————————————————————一一研究内容投影矩阵,建立了一般线性或非线性约束下的共轭投影梯度法文献『卜『肦投影通过适当控制修正项的模将超记忆梯度算法推广到求解带不等式约束非线性规划问题中去,改善梯度投影算法的收敛速度。文献,借助于队凹记赏ü实笨刂菩拚糠值哪=ǔ且涮荻人惴ㄍ乒愕角蠼獯非空闭凸集约束的非线性规划问题中去,提高了荻韧队八惴ǖ氖樟菜俣取本文将研究超记忆梯度算法中的参数成”⋯,成.,取法,利用修正项与负梯度的夹角及适当控制思想给出***】,.一,展。的新取法保证算法下降,从而设计超记忆梯度算法,并证明算法的收敛性。,以保证得到目标函数的充分下降方向,设计求解无