文档介绍：第9讲

先验分布和后验分布
(课本, 和节)
设独立同分布的样本 X ,,… X 服从分布Ρ: θ∈Θ,现估计未知参数θ。到目前
1 n { θ0 } 0
为止,本文已经讨论了两种参数估计的方法:矩估计法和极大似然估计。两种方法的思想都
是在参数空间Θ中寻找参数估计值θˆ,使分布Ρ在某种意义上能够很好的描述数据。但这
θˆ
两种方法没有对样本提出任何假设条件,并且只利用样本来构造θ0 的估计。于是,在下面
几章中,将讨论另外一种不同的方法,即贝叶斯估计法。该方法将某些有关参数θ0 的先验
信息(抽样前对未知参数所了解的信息)融合到参数估计中。先验信息就是考虑参数空间集
Θ的分布信息,也就是说认为θ是随机变量。令ξ(θ) 为先验分布的概率函数。需要强调的
是:ξ()θ不依赖于样本 X1,,… X n ,它是客观存在的信息,甚至在我们见到数据之前就已
经存在。
例:假定样本服从 Bernulli 分布,其概率函数为:
1−x
fxp()=− px ()1, p x =0,1
其中参数 p ∈[0,1] ,假设我们有一种直觉认为未知参数在附近,则可以选取图所
示的先验分布ξ()p 来反映我们的直觉。
在选择先验分布后,观察样本 X1,,… X n ,并利用样本和先验分布来估计未知参数θ0 。
首先要找到θ的后验分布,亦即由 X1,,… X n 确定的θ的分布,这需要使用贝叶斯定理。

图先验分布
全概率公式和贝叶斯定理

∞
若事件 AA,,…两两互斥,即 AA∩= ∅,且Ρ A =1,则对任一事件 B 有,
12 ij (∪i=1 i )
∞∞
即
Ρ=Ρ()B ∑∑(BA∩ ii ) →Ρ=ΡΡ() B ( A )( BA| i )
ii==11
贝叶斯公式表明,在全概率公式的条件下,若 PB( ) > 0 ,则
ΡΡ()AB∩∩ΡΡ(BAi ) ( A1 ) (BA)Ρ( A)
11i
Ρ=()AB1 =∞∞=
Ρ()B ΡΡB ∩ ABAΡA
∑∑ii==11()ii()()i

如果知道样本的条件概率函数 fX( 11,,…… Xnnθ) = fX( θ) fX( θ) 和θ的概率函
数ξ()θ,就可以利用贝叶斯公式计算出考虑样本后θ的概率函数ξθ( X1,,… X n ) 。
则θ的后验分布可以由贝叶斯公式来求得:
f