文档介绍：第19讲

在上一讲中我们找到了使贝叶斯误差最小的贝叶斯决策规则:
kk
αξαξ==Ρ≠∑∑()iiii () ( δHi )
ii==11
现在写出在两个简单假设 H1, H2下的决策规则。为了简单起见,给定样本()X1,,… X n ,
我们将 X 的联合分布函数表示为:
f ii()XfXfX= ( 1 )… i( n)
于是,在这两个简单假设下使贝叶斯误差最小的贝叶斯决策为:
αξ=Ρ≠+Ρ≠()1211 ( δH ) ξ( ) 2( δ H 2)
可由下面公式给出:
⎧Hf11: ξξ( 1) ( Xf) = (2) 2( X)
⎪
δξξ=>⎨Hf22: () 2 (X ) ()1f1 (X )
⎪或者:
⎩ HH12ξξ()()12 fX 1= ()() fX 2
或等价于:
⎧ fX1() ξ()2
H1 : >
⎪ fX2 () ξ()1
⎪ fX2 () ξ()2
δ= ⎨H2 fX() >ξ()1
⎪ 1
fX1() ξ()2
⎪ HH12或者: >
⎩ fX2 () ξ()1
1 0
这里, =+∞, = 0 。这种检验称为似然比检验,因为它是用来表示似然函数 f ()X 与
0 1 1
f2 ()X 的比率的。
例:假设我们只有一个观测值X1 和两个简单假设 HN1 :0Ρ= ( ,1) 与 HN2 :1,1Ρ= ( ) 。我
们记先验分布为:
1 1
ξ()1 = 和ξ()2 =
2 2
例如,两个假设的值相等时,可以找到一个使δ最小值的贝叶斯决策规则为:
11
Ρ≠()δδHH +Ρ≠()
22112 2
贝叶斯决策规则由下面式子给出:
⎧ fX1()
H1 : >1
⎪ fX2 ()
⎪ fX1()
δ= ⎨H2 fX() <1
⎪ 2
fX1()
⎪HH12或者: =1
⎩ fX2 ()
这个决策规则有一个很直观的解释。如图所示,当第一个概率函数较大时,即在C 点
左侧部分,决策规则会选择第一个假设 H1 ,否则就选择在 C 点右侧的第二个假设 H2 。

图贝叶斯决策规则

例:现在考虑一个类似的但更具体的例子。有样本( X1,,… X n ) ,两个简单假设
HN1 :0Ρ= ( ,1) , HN2 :1,1Ρ= ( ) 以及任意先验值ξξ(1,) ( 2) 。
决策规则可将似然比简化为:
112 2
fX −−XXii()−1
1 () 1122∑∑
= nnee
fX2 () 22ππ
() ()
1 k 2 2 n
∑∑ii=1 (()XX−−1 i) − Xi
=e 22= e
n
−∑ Xi ξ()2
因此,当 e 2 > 时,决策规则选择第一个假设 H ;
ξ()1 1
或等价于
n ξ(2)

∑ X i <−log
21ξ()
n ξ()2
类似地,当时,选择第二个假设;
∑ X i >−log H2
21ξ()
如果相等