文档介绍：会计学
1
模式识别导论五
§5-1 参数估计与监督学****br/>贝叶斯分类器中只要知道先验概率，条件概率或后验概
概率 P(ωi),P(x/ωi), P(ωi /x)就可以设计分类器了。现在
来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi),
P(ωi /x)
一．参数估计与非参数估计
参数估计：先假定研究的问题具有某种数学模型，如
正态分布，二项分布，再用已知类别的学****br/> 样本估计里面的参数。
非参数估计：不假定数学模型，直接用已知类别的学****br/> 样本的先验知识直接估计数学模型。
第1页/共49页
二．监督学****与无监督学****br/>监督学****在已知类别样本指导下的学****和训练，
参数估计和非参数估计都属于监督学****br/>无监督学****不知道样本类别，只知道样本的某些
信息去估计，如：聚类分析。
第2页/共49页
§5-2参数估计理论
一．最大似然估计
假定：
①待估参数θ是确定的未知量
②按类别把样本分成M类X1，X2，X3，… XM
其中第i类的样本共N个
Xi = (X1,X2,… XN)T 并且是独立从总体中抽取的
③ Xi中的样本不包含 (i≠j)的信息，所以可以对每一
类样本独立进行处理。
④ 第i类的待估参数
根据以上四条假定，我们下边就可以只利用第i类学****样
本来估计第i类的概率密度，其它类的概率密度由其它类
的学****样本来估计。
第3页/共49页
：
第i类样本的类条件概率密度：
P(Xi/ωi)= P(Xi/ωi﹒θi) = P(Xi/θi)
原属于i类的学****样本为Xi=(X1 , X2 ,…XN,)T i=1,2,…M
求θi的最大似然估计就是把P(Xi/θi)看成θi的函数，求
出使它最大时的θi值。
∵学****样本独立从总体样本集中抽取的
∴
N个学****样本出现概率的乘积
取对数 ：
第4页/共49页
对θi求导,并令它为0：
有时上式是多解的, 上图有5个解,只有一个解最大即.
P(Xi/θi)
第5页/共49页
2. 多维正态分布情况
① ∑已知, μ未知,估计μ
服从正态分布
所以在正态分布时
代入上式得
第6页/共49页
所以
这说明未知均值的最大似然估计正好是训练样本的算术
平均。
第7页/共49页
② ∑， μ均未知
A. 一维情况：n=1对于每个学****样本只有一个特征的简单情况：
(n=1)由上式得
即学****样本的算术平均
样本方差
第8页/共49页
讨论：
，当N较大的时候，二者的差别不大。
B．多维情况：n个特征（学生可以自行推出下式）
估计值：
结论：①μ的估计即为学****样本的算术平均
②估计的协方差矩阵是矩阵