文档介绍：概率是什么

概率是什么？－并谈频率学派与 Bayes 学派
－确定性数学向随机数学转变的小道理：退而求其次
吴贤毅
注：写这篇科普性的文章的时间跨度大概有半年左右吧，做为博客文章来说，稍微长了点。
另外，似乎专业的术语也多了点，我已经将阅读本文的知识起点尽可能地放低，但是，为
了能够顺利阅读本文，至少应该知道概率论中的 Bayes 公式（有的教科书叫逆概率公式），
统计点估计和置信区间的概念。

1. 问题的缘起：统计学中频率学派与 bayes 学派的战争。
统计学里面有两个针锋相对的学派，一个叫频率学派（也叫经典学派）1，一个叫
Bayes 学派（当然，不叫现代学派）。举个例子来说明：我们有一个随机变量 X，其分布
函数包含有未知成份，按照通常的记法，记为 F(x,θ)＝Pr（X≤x）。这里θ用来确定分
布函数 F，称为参数。一般来说，θ与 F(x,θ)一一对应。统计学的任务是通过对随机变量
X 的抽样，来推断θ（点估计,区间估计，假设检验，聚类分析等等）。比如说，得到了一
组样本 X1, X2,…, Xn,相互独立服从于共同的分布 F(x,θ)（统计学的标准术语为独立同分
布，简记为 iid, 即 independent and identically distributed），需要用 X1, X2,…, Xn 的函数来
估计θ。
大体来说，频率派学者一般将θ看成是非随机的常量，但是其值未知。因此，对于一
个问题中的未知参数θ来说，其并不是随机的。但是，Bayes 学派的学者则认为，既然θ
未知，其值带有不确定性（uncertainty）,因此，可以给其一个分布，他们把这个分布叫做
先验分布（prior distribution），实质上将θ当成随机变量2。先验分布可以是统计学者或者

1 注：频率学派之所以称为频率学派，是因为他们认为，所谓概率，基本上就是一个事件在大量重复的时候的
频率。
2 注：也有叫广义先验分布的，如实轴上的平坦分布，乃有限区间上均匀分布在无限区间上的推广，但是已经
失去了概率的意义了。
是专家对θ的主观认识。我们注意到，虽然从理论上来讲，对先验分布的认识可以是主观
的，也可以是客观的，但是 Bayes 学派从来不关注客观认识（或者认为客观认识没有必
要），他们有一套给定先验分布的方法：共轭分布（参数型的，以及非参数中的