文档介绍：2. 模型参数的估计
假设随机变量xt的概率密度函数为f (xt | g ),其参数用 g = {g1, g2, …, gk} 表示,则对于一组固定的参数g 来说,xt的每一个取值都与一定的概率相联系,相反若参数g 未知,当得到一个观测值xt后,估计参数g 的原则是使观测值xt出现的可能性最大。似然函数定义为
L(g | xt ) = f (xt | g ),
似然函数L(g | xt ) 与概率密度函数f (zt | g )的表达形式相同,所不同的是在f (xt | g )中参数g是已知的,xt取值是未知的;而在L(g | xt) 中,xt是已知的观测值,参数g 是未知的。设一组随机变量xt,(t = 1, 2, …, T)是相互独立的,则其联合概率密度函数为
f (x1| g ) f (x2| g ) … f (xT | g ) = | g )
对于一个样本(x1, x2, …, xT) ,似然函数可表示为
L (g | x1, x2, …, xT) = | xt )
其中g = {g1, g2, …, gk} 是一组未知参数。g 的极大似然估计值就是指确定一组参数值从而使上述样本出现的机会最大。对数似然函数是
log L = log L(g | x1, x2, …, xT) = f (xt | g ) ()
通过选择 g 使上式达到最大,从而求出极大似然估计值(因为log L是单调增函数,所以log L和 L可以同时达到最大值,而用log L计算更方便。)。具体步骤是用上式对每个未知参数求偏导数并令其为零,即
= 0,
…..
= 0, (k个方程联立)
解方程,从而求得g 的极大似然估值。极大似然估计量(MLE) 具有一致性和渐近有效性。
首先讨论正态分布随机变量的极大似然估计。已知xt ~ (m, s 2),现有样本(x1, x2, …, xT),则m, s 2的极大似然估计过程如下。
因为xt服从正态分布,所以xt的概率密度函数是
f (xt) = exp () ()
对于样本(x1, x2, …, xT),似然函数是
L(x1, x2, …, xT) = exp ()
= exp () ()
对m, s 2的极大似然估计就是指在上式中确定一组参数从而使上述样本出现的可能性最大。因指数函数和对数函数都是单调递增的,所以两种形式对于求极大似然估计量没有影响。为计算方便,取对数似然函数
logL = -log 2p -log s 2 - ()
分别求上式对m 和s 2的偏导数,并令其为零,
= = 0, ()
= -+= 0, ()
因为xt是随机变量,所以() 式中的不等于零。若满足() 式,有下式成立,
= 0 ()
则m 的极大似然估计量是
= = ()
即样本平均数。所以 m 的极大似然估计量具有无偏性。将上述结果代入() 式得
== ()
是s 2的有偏、一致估计量。
下面讨论一元线性回归模型
yt = b0 + b1 x t + ut , t = 1, 2, …, T. ()
的极大似然估计。假定ut ~ N (0, s 2 ),则yt也服从正态分布
yt ~ N (E( yt), s 2 ), ()
其中E( yt) = b0 + b1 xt。若yt是相互独立的,则对于样本( y1, y2, …, yT),似然函数是
L ( b, s 2 | y1, ,y2, …, yT) = f ( y1) f ( y2) … f ( yT),
其中 b 表示未知参数 b0, b1的集合。由()式每个yt的概率密度函数为
f (yt) = exp ()
则单个yt的似然函数是
log L = -log 2p -log s 2 -(yt - E( yt)) 2
= -log 2p -log s 2 -(yt - b0 - b1 xt) 2 ()
对于样本( y1, y2, …, yT),对数似然函数是
log L( y1, y2, …, yT) =
= -log 2p -logs 2 - ()
因为对数函数是单调递增函数(即若有c1 > c2,则必有log c1 > log c2),所以使log L达到最大等价于使L达到最大。为了找到使对数似然函数达到极大的点,分别求log L对 b0, b1, s 2的偏导数,并令其为零。
= = 0 ()
= = 0 ()
= -+= 0 ()
由() 和()