文档介绍：第五章判别分析
*
2
Bayes判别
. Bayes判别的基本思想
. 两个总体的Bayes判别
. 多个总体的Bayes判别
经典学派的观点:统计推断是根据样本信息对总体分布或总体的特征数进行推断,这里用到两种信息:总体信息和样本信息;
贝叶斯学派的观点:除了上述两种信息以外,统计推断还应该使用第三种信息:先验信息。
统计学中有两个主要学派:频率学派(经典学派)与贝叶斯学派。下面从统计推断的三种信息来说明他们之间的区别与联系。
三种信息
一、总体信息,即总体分布或总体所属分布给我们的信息。
例如:”总体是正态分布“
说明:总体信息是很重要的信息,为了获取此种信息往往耗资巨大。
二、样本信息,即从总体抽取的样本给我们的信息。(愈多愈好)
人们希望通过对样本的加工和处理对总体的某些特征做出较为精确的统计推断。
例:有了样本观察值,我们可根据它大概知道总体的一些特征数(均值、方差等)在一个什么范围内。
经典统计学:基于以上两种信息进行的统计推断被称为经典统计学。
说明:它的基本观点是把数据(样本)看成是来自具有一定概率分布的总体,所研究对象是这个总体而不局限于数据本身。
据现有资料看,这方面最早的工作是高斯和勒让德德误差分析、正态分布和最小二乘法。从十九世纪末期到二十世纪中叶,经皮尔逊、费歇和奈曼等人杰出的工作创立了经典统计学。
随着经典统计学的持续发展与广泛应用,它本身的缺陷也逐渐暴露出来了。
(1)总体信息:总体分布提供的信息。
(2)样本信息:抽取样本所得观测值提供的信息。
(3)先验信息:人们在试验之前对要做的问题在经
验上和资料上总是有所了解的,这些信息对
统计推断是有益的。先验信息即是抽样(试
验)之前有关统计问题的一些信息。一般说
来,先验信息来源于经验和历史资料。先验
信息在日常生活和工作中是很重要的。
贝叶斯学派的观点:除了上述两种信息以外,统计推断还应该使用第三种信息:先验信息。
三、先验信息,即是抽样(试验)之前有关统计问题的一些信息。
一般说来,先验信息来源于经验和历史资料。先验信息在日常生活和工作中是很重要的。
人们在试验之前对要做的问题在经验上和资料上总是有所了解的,这些信息对统计推断是有益的。
例1 英国统计学家Savage曾考察如下2个统计实验:
A。一位常饮牛奶加茶的妇女声称,她能辨别先倒进杯子里的是茶还是牛奶。对此做了10次试验,她都正确地说出了。
B。一位音乐家声称,他能从一页乐谱辨别出是海顿还是莫扎特的作品。在10次这样的试验中,他都能正确辨别。
在这两个统计试验中,假如认为被试验者是在猜测,,那么10次都猜中的概率为2-10=,这是一个很小的概率,是几乎不可能发生的,所以“”的假设应该被拒绝。
。这不是猜测,而是他们的经验在帮了他们的忙。
基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。
它与经典统计学的差别就在于是否利用先验信息。
贝叶斯统计在重视使用总体信息和样本信息的同时,还注意先验信息的收集、挖掘和加工,使它数量化,形成先验分布,参加到统计推断中来,以提高统计推断的质量。
忽视先验信息的利用,有时是一种浪费,有时还会导出不合理的结论。
,而对尚未发生的样本观察值不予考虑.
贝叶斯学派的基本观点:任一未知量都可看作随机变量,可用一个概率分布去描述,这个分布称为先验分布;在获得样本之后,总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量新的分布—后验分布;任何关于的统计推断都应该基于的后验分布进行。
因为任一未知量都有不确定性,而在表述不确定性程度时,概率与概率分布是最好的语言。
,但每天都有一些变化,把它看做一个随机变量是合适的,用一个概率分布去描述它也是很恰当的。