文档介绍：最优化方法
在模式识别的学****和训练过程中,需要根据训练样本来确定一组与分类器模型相关的参
数。学****过程往往首先定义某个准则函数,用以描述参数的“适合性”,然后寻找一组“适
合性”最大的参数作为学****的结果,也就是说将模式识别的学****问题转化为针对某个准则函
数的优化问题。
假设准则函数 f x针对 x 的每个分量都可微,下面介绍几种常用的函数优化方法。
I. 直接法求极值
根据数学分析的知识我们知道, m 维矢量 x* 是函数 f x极值点的必要条件是:
*
fxi 0 ,对任意的1 im成立。如果把所有的偏导数写成矢量的形式,则函数 f x 的
极值点可以通过求解矢量方程得到:
fx 0
f x 1
( )
 0 1
x 
fxm 0
上述方程的解可能是极大值点,可能是极小值点,也可能不是极值点,具体情况还需要
根据二阶导数来判断。如果我们希望求取的是 f x的最大值或最小值点,可以通过比较所
有的极大值或极小值点得到。
对于简单的纯凸或纯凹函数(如二次函数),由于只存在唯一的极值点,极值点即为最
大值或最小值点,因此可以直接通过求解矢量方程(1)得到 f x的优化解。
II. 梯度法
对于复杂的函数来说,直接求解方程(1)得到优化函数的极值点往往是很困难的。在
这种情况下,可以考虑采用迭代的方法从某个初始值开始逐渐逼近极值点,梯度法就是一种
迭代求解函数极值点的方法。
考虑多元函数 f x在点 x 附近的一阶泰勒级数展开式:
m f
( )
ffxx x  xri  xx,  2
i1 xi
其中x 是增量矢量, xi 为其第 i 维元素, rxx,为展开式的余项。注意到第二项的
求和式,实际上是 f x关于 x 的梯度矢量与x 之间的内积,同时当x 很小时忽略余项
rxx,,可以得到一阶近似展开式:
t
t f
ffffxx x  x  x  x  x (3)
x
*
如果我们要求取 f x 的极小值 x ,可以从某个初始点 x0 开始搜索,每次增加一个增量
x 。虽然不能保证 xx0 直接到达极小值点,但如果能够保证每次迭代过程中函数值逐渐
减小, ffxx x,那么经过一定的迭代步数之后,就能够逐渐地接近 x* ,这是一个
函数值逐渐下降的过程。更进一步,我们总是希望函数值下降的过程越快越好,这样可以用
尽量少的迭代次数,达到对 x* 更高精度的逼近,因此这种方法也被称作“最速下降法”。
t
根据公式(3),要使得函数值下降得最快,就是要寻找一个增量矢量x 使得f xx
最小。注意到(3)式只是在点 x 附近的一阶近似,当x 过大时,近似的精度会很差,因
此不能直接寻找增量矢量,而是应该寻找使得函数值下降最快的方向。也就是在约束x 1
t
的条件下,寻找使得f xx最小的增量矢量。找到最速下降的方向之后,再来确