文档介绍：第10讲

贝叶斯估计(课本, 和节)
在明确后验分布或后验分布函数、分布密度函数ξθ( X1,,… X n ) 后,开始构造未知参
ˆ
数θ0 的估计θ。最常用的估计方法是取后验分布的均值。
ˆˆ
θθ==()X11,,……XXnnΕ(θ,,X)
该估计值θˆ称为贝叶斯估计。注意:根据定义,后验分布依赖于样本,因此估计值θˆ也
ˆ
依赖于样本 X1,,… X n 。这种方法中,θ一般取有关后验分布的参数平均值,其中后验分布
在某种意义上包含了数据反映的信息和对参数的直观估计。除此之外,θˆ的估计还考虑以下
2
内容:现定义估计参数使其满足…取得最小值,即尽可能地使与
a Ε−(()θ aX1,, Xn ) θ a
的偏差最小。为了找到这样的a 值,需使其导数为零,

∂ 2

Ε−()θθaX11,,…… Xnn =Ε 2() X ,, X −= 2 a 0
∂α()
最后计算结果是:
ˆ
aX==Εθθ()1,,… Xn

现在总结贝叶斯估计值的构建方法:
()θ
( X1,,… X n )
ˆ
=Ε()X1,,… X n
联合先验分布
先验分布ξ()θ与其它众多分布相比较,其优点是通过ξ(θ) 更容易计算后验分布函
数。ξ()θ类似于联合分布函数 fX(1,,… Xn θ),接下来将用具体实例来介绍。
例:假设样本服从01∼分布 Bp( ) ,概率函数为:
1−x
fxp()=− px ()1 p 其中 x =0,1
且其似然函数为:
nX−
∑ Xi ∑ i
fX()1,,… Xpn =− p()1 p .
则后验分布的形式变为:
nX−
∑ Xi ∑ i
fX()1,,… Xpn ξ() p p ()1− ppξ()
ξ()pX1,,… Xn ==
gX()11,,…… Xnn gX(),, X
X nX−
注意到似然函数 pp∑ i ()1−∑ i 与二项分布的分布密度函数相同。因此,如果令先
验分布是参数为α,β> 0的二项分布 B(α,β)
Γ+(αβ) β−1
ξ()pp=−α−1 ()1 p
ΓΓ()()αβ
则后验分布的形式就变成:
1 Γ+(αβ) ()aX+−i 1 β+−nXi −1
ξ pX,,… X =−p∑ 1 p()∑.
()1 n
()
gX()1,,… Xn ΓΓ()()αβ
类似于二项分布
我们还必须计算 gX( 1,,… Xn ) ,但是可以注意到ξ( pX1,,… Xn ) 的概率函数类似于
参数为与的二项分布,即
α+ ∑ X i β+−nX∑ i

B (αβ++−∑ XnXii, ∑)
于是可以避免求 gX( 1,,… Xn ) 。因此,用该 Beta 函数替换,上式可转化为:
Γ++αβn α+−X 1
( ) ()∑ i ()β+−nX∑ i −1
ξ()pX1,,… Xn =−p()1 p