文档介绍：第七章第二节
极大似然估计
极大似然法
是在总体类型已知条件下使用的一种参数估计方法.
它首先是由德国数学家
高斯在1821年提出的,
Gauss
Fisher
然而,这个方法常归功于
英国统计学家费歇.
费歇在1922年重新发现了
这一方法,并首先研究了这
种方法的一些性质.
极大似然法的基本思想
先看一个简单例子:
一只野兔从前方窜过.
是谁打中的呢?
某位同学与一位猎人一起外出打猎.
如果要你推测,
你会如何想呢?
只听一声枪响,野兔应声倒下.
你就会想,只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的.
这个例子所作的推断已经体现了极大似然法的基本思想.
极大似然估计原理:
当给定样本X1,X2,…Xn时,定义似然函数为:
设X1,X2,…Xn是取自总体X的一个样本,样本的联合密度(连续型)或联合概率函数(离散型)为 f (X1,X2,…Xn; ) .
f (X1,X2,…Xn; )
似然函数:
极大似然估计法就是用使达到最
大值的去估计.
称为的极大似然估计(MLE).
看作参数的函数,它可作为将以多
大可能产生样本值X1,X2,…Xn的一种度量.
f (X1,X2,…Xn; )
(4) 在最大值点的表达式中, 用样本值代入
就得参数的极大似然估计值.
求极大似然估计(MLE)的一般步骤是:
(1) 由总体分布导出样本的联合概率函数
(或联合密度);
(2) 把样本联合概率函数(或联合密度)中自变
量看成已知常数,而把参数看作自变量,
得到似然函数L( );
(3) 求似然函数L( ) 的最大值点(常常转化
为求ln L( )的最大值点) ,即的MLE;
两点说明:
1、求似然函数L( ) 的最大值点,可以应用微积分中的技巧。由于ln(x)是x的增函数,lnL( )与L( )在的同一值处达到它的最大值,假定是一实数,且lnL( )
是的一个可微函数。通过求解所谓“似然方程”:
可以得到的MLE .
若是向量,上述方程必须用似然方程
组代替.
2、用上述求导方法求参数的MLE有时行不通,这时要用极大似然原则来求.
两点说明:
下面举例说明如何求极大似然估计
L(p)= f (X1,X2,…Xn; p )
例1 设X1,X2,…Xn是取自总体 X~B(1, p) 的一个样本,求参数p的极大似然估计.
解:似然函数为: