文档介绍：从二项式分布到多项式分布-从Beta分布到Dirichlet分布
一、前言
参数估计是一个重要的话题。对于典型的离散型随机变量分布:二项式分布,多项式分布;典型的连续型随机变量分布:正态分布。他们都可以看着是参数分布,因为他们的函数形式都被一小部分的参数控制,比如正态分布的均值和方差,二项式分布事件发生的概率等。因此,给定一堆观测数据集(假定数据满足独立同分布),我们需要有一个解决方案来确定这些参数值的大小,以便能够利用分布模型来做密度估计。这就是参数估计!
对于参数估计,一直存在两个学派的不同解决方案。一是频率学派解决方案:通过某些优化准则(比如似然函数)来选择特定参数值;二是贝叶斯学派解决方案:假定参数服从一个先验分布,通过观测到的数据,使用贝叶斯理论计算对应的后验分布。先验和后验的选择满足共轭,这些分布都是指数簇分布的例子。
参数估计方法的一个限制:是我们人为的假定了参数分布服从了某种指定形式的分布函数,这可能在某些特定情况下是不合适的。有一种可选的解决方案是:无参密度估计,他只依赖于观测数据量的大小,这种方法其实也需要参数,但是这些参数只是控制了模型的复杂性而不是分布的函数形式。有三种无参密度估计方法:直方图,最近邻,核函数。(可能在以后的博文中讲述)
本文从以参数估计为目标出发,从二项式分布讲述到多项式分布,从Beta分布讲述到Dirichlet分布。(有关离散型随机变量分布正态分布可能在以后博文中讲述)
二、二项式分布与Beta分布
二项式分布源自对二元变量的研究。
1)二元变量-贝努力实验
对于一次贝努力抛硬币实验中有两个结果,我们令x=1是正面,x=0是负面,令是正面的概率为u,则有:
p(x = 1|μ) = μ    ()则x的概率分布可写成如下形式:
()这就是贝努力分布(注意是一次实验),它有均值和方差为:
E[x] = μ   ()
var[x] = μ(1 − μ).    ()
现在假定有一个x的观测数据集D={x1,....,xN},那么我们能够构造出参数u的似然函数:
()
根据频率学派的思路,我们可以通过最大化似然函数来估算出参数u的值。我们选择最大化似然函数的Log,则对于贝努力分布,Log似然函数为:
()
求关于u的导并将导数设置为0可求得:
()去掉前面的1/N,右边的式子有个名字叫充分统计量,这里可用m表示,即N次贝努力实验中m次出现
所以可得到参数u的最有可能值:()
现在假设N=m=3,那么u=1,很明显与我们的经验值不符合,因此在小的的观测数据集下,最大化似然函数的方法容易与观测数据过度拟合。为了解决这个问题,可以根据贝叶斯学派的观点,引入参数的先验概率分布。见下文详解
2)二项式分布
在大小为N的数据集中(N重贝努力实验),以x=1的数据出现的次数为随机变量,他服从二项式分布:
()其中()
注意:二项式分布也可以作为参数u的似然函数,。
我们分别可以得到二项式分布的随机变量的期望和方差,如下:(期望=随机变量的值*概率)
为什么要引入二项式分布呢?继续
3)Beta分布
我们需要用贝叶斯理论求得参数u的值,需要给u一个先验分布,然后用贝叶斯理论求得u的后验分布,进而估计u值。那么,该选用什么样的分布作为先验分布呢?通过观察似然函数u与(1-u)乘积的形式,我们选用了Beta分布作为u的先验分布,因为根据贝叶斯理论,后验=似然函数*先验,我们发现当后验与先验同时具有相同的分布时具有一些优秀的性质,能使我们方便的进行u的估算,现在,,当先验选择Beta分布时,后验正好也是Beta分布。
Beta分布:
()
其中,:
()我们注意到参数u随机变量的取值在0到1之间
可求得随机变量的期望和方差:
a与b的值是参数u的分布中的参数,称之为超参数。
现在,参数的u的后验分布可以通过似然函数()乘以先验分布()来得到,得到的结果只保留与参数u相关的项得:
()其中l=N-m。
加入归一化系数后得:
()
可看到后验同样是beta分布,当先验和后验是同一分布时,我们称之为共轭。
仔细观测,他拥有优秀的性质:
1 观测以Gamma函数为分子分母的系数,参数a,b可分别看作事件x=1,x=0的有效观测量。a的值通过m的增加而增加,b的值通过l的值增加而增加(,可这样理解:a<— a+m,b<— b+l)
2 如果以后有新增的观测值,后验