文档介绍：i
贝叶斯集锦（3）：从MC、MC到MCMC
2013-07-3123:03:39
#####一份草稿
贝叶斯计算基础
一、从MC、MC至I」MCMC斯坦福统计学教授PersiDiaconis是一位传奇式的人物。Diaconi02,...,0n,n足够大
用样本均值0-=1n》ni=10i作为E(0)
当n趋近无穷时，利用大数定律，样本均值会收敛到E(0)(这称为仿真一致性)
从上面这个简单例子，蒙特卡洛方法的基本思路是：
针对实际问题建立一个简单易行的概率统计模型，使问题所求的解为该模型的概率分布或者数字特征，比如：某个事件的概率或者是某个随机变量的期望值。
对模型中的随机变量建立抽样方法，在计算机上进行模拟试验，得到足够的随机抽样，并对相关事件进行统计
对试验结果进行分析，给出所求解的估计及其精度(方差)的估计
上面例子中所用的这种模拟方法是把有限区间上的积分看做这个区间上均匀分布随机变量的期望值，叫做逆分布函数法(inverse-CDFmethod，也称作逆变换法)。这种方法简便易行，但对于无穷区间的积分是不适用的。所以还有一些其它的抽样方法，比如importaneesampling;rejectionsampling;slicesampler等，不再一一详述。
对于复杂或者高维的分布，利用蒙特卡洛方法生成随机样本是比较困难的，因此需要发展一些更复杂的随机模拟技术。
(3)马尔科夫链(MarkovChain)和MCMC
在蒙特卡洛模拟中，我们在后验分布中抽取样本，当这些样本独立时，利用大数定律样本均值会收敛到期望值。如果得到的样本是不独立的，那么就要借助于马尔科夫链进行抽样。MCMC方法就是为了这个目的而诞生的。
马尔科夫链又称为马尔科夫过程是一种离散的随机过程，用俄罗斯数学家安德烈马尔科夫的名字命名。随机过程可以看做一个随时间变化的随机变量序列，在物理上用来表示在某个空间中物体的位置随机变化的轨迹；在贝叶斯统计中，物体的轨迹可以看做蒙特卡洛算法的结果，而“空间”就是支持后验分布p(0lx)的样本空间。
马尔科夫链的定义如下，设0(t)是一个随机过程，如果它满足下面的性质：
p(0(t+h)=xt+h10(s)=xs,sst)=p(0(t+h)=xt+h10(t)=xt,Vh>0
这个定义又称为马尔科夫性质，对一个马尔科夫链来说，未来状态只与当前t时刻有关，而与t时刻之前的历史状态无关(条件独立)。
在时刻t,一个遍历的马尔科夫链从状态i可以向链的任一状态(包括状态i自身)转移。从状态
4
i到状态j的转移概率记作p(i,j)或者p(i\rightarrowj),p(j\midi)。所有这些转移概率构成了状态转移矩阵，记为P。
马尔科夫链的一个很重要的性质是平稳分布。简单的说，主要统计性质不随时间而变的马尔科夫链就可以认为是平稳的。数学上有马氏链收敛定理，当步长n足够大时，一个非周期且任意状态联通的马氏链可以收敛到一个平稳分布n(x)。这个定理就是所有的MCMC方法的理论基础。
我们对一个马氏链进行状态转移。设从初始分布n0出发，假设到第n步这个链可以收敛到平稳分布nO,那个这个过程可以表示为：X0nO(x),X1n1(x),...,Xnnn(x)=n(x),Xn+1n(x),Xn+2n(x),...
在利用马氏链进行抽样时，在收敛之前的一段时间，比如上面的前n-1次迭代，各个状态的边际分布还不能认为是稳定分布，所以在进行估计的时候，应该把前面的这n-1个迭代值去掉。这个过程称为“burn-in"。
MCMC方法就是构造合适的马尔科夫链进行抽样而使用蒙特卡洛方法进行积分计算。既然马尔科夫链可以收敛到平稳分布。我们可以建立一个以n为平稳分布的马尔科夫链，对这个链运行足够长时间之后，可以达到平稳状态。此时马尔科夫链的值就相当于在分布n(x)中抽取样本。利用马尔科夫链进行随机模拟的方法就是MCMC。这种方法最早是由Metropolis研究物理学中粒子系统的平稳性质想到的，他得到了第一个MCMC的算法：Metropolis算法。由此，一系列的MCMC方法相继诞生。
二、M-H算法
MCMC方法最早由Metropolis(1954)给出，后来Metropolis的算法由Hastings改进，合称为M-H算法。M-H算法是MCMC的基础方法。由M-H算法演化出了许多新的抽样方法,包括目前在MCMC中最常用的Gibbs抽样也可以看做M-H算法的一个特例。
我们来介绍基本的M-H算法。马氏链的收敛性质主要由转移矩阵P决定，所以基于马氏链做抽样的关键问题是如何构造转移矩阵P,使得平稳分布恰好是我们要的分布n(x)
这里用到了马尔科夫链的另一个性质，如果具有转移矩阵P和分布