文档介绍：牛顿法与修正牛顿法
团队成员:
李东旭张宇姚凯丁科
王在进刘继东刘宇辰
任务分工:
Documentalists :李东旭张宇
技术顾问:刘宇辰姚凯
制片人:丁科王在进
新闻发言人:刘继东
2010年10月8日
牛顿
简介
艾萨克·牛顿(Isaac Newton)是英国伟大的
数学家、物理学家、天文学家和自然哲学家,
其研究领域包括了物理学、数学、天文学、
神学、自然哲学和炼金术。
牛顿的主要贡献有发明了微积分,发现了
万有引力定律和经典力学,设计并实际制造了
第一架反射式望远镜等等,被誉为人类历史上
最伟大,最有影响力的科学家。为了纪念牛顿
在经典力学方面的杰出成就,“牛顿”后来成为
衡量力的大小的物理单位。
牛顿法

在求目标函数的极小值时,先将它在点附近展开
成泰勒级数的二次函数式,然后求出函数的极小值点,并以此点作
为欲求目标函数的极小值点的一次近似值。
设目标函数是连续二阶可微的,将函数在点按泰勒级数
展开,并取到二次项:
对x求导,其极值点必满足一阶导数为零,所以,
得到
式中, 为Hessian矩阵的逆矩阵。
在一般情况下, 不一定是二次函数,因而也不可能是的极值点。但是在点附近,函数和是近似的,所以可以用点作为下一次迭代,即得如果目标函数是正定二次函数,那么是个常矩阵,逼近式是准确的。因此由点出发只要迭代一次既可以求的极小点。
在一般情况下, 不一定是二次函数,因而也不可能是的极值点。但是在点附近,函数和是近似的,所以可以用点作为下一次迭代,即得如果目标函数是正定二次函数,那么是个常矩阵,逼近式是准确的。因此由点出发只要迭代一次既可以求的极小点。
式与一维搜索公式比较,则有搜索方向, 步长因子
牛顿法的迭代算式
其中称为牛顿方向。

一给定初始点,计算精度ε,令k=0;
二计算点的梯度、
及其逆矩阵。
三构造搜索方向
四沿方向进行一维搜索,得迭代点
五收敛判断:
若,则为近似最优点,迭代停止,
输出最优解和终止计算。
若不满足,令k=k+1,转第二步继续迭代。

用牛顿法求函数
的极小值。
解:
(1)取初始点
(2)计算牛顿方向
故
(3)极小值