文档介绍：: .
MCMC 方法
∫
Eπf(X) = X f(x)π(x)dx, 这里随机变量 X 具有密度函数 π(x). 如
果密度函数为 π(x) 的独立随机数 X , · · · , X 很容易产生，可根
∑ 1 n
ˆ n
据 Eπf(X) = 1/n i=1 f(Xi) 直接估计 Eπf(X).
在实际中，后验分布 π(x) 往往是复杂的，高维的，非标准
形式的分布。已有的随机抽样方法难以实施，上述提到的估计方
法就不再适用。本章探讨新的估计方法估计 Eπf(X).
. . . . . .
第八章 4 / 55MCMC 方法
Metropolis-Hastings 方法
Gibbs 抽样
方法
. MCMC
Markov chain Monte Carlo (MCMC) 就是在贝叶斯理论框架
下, 发展起来的蒙特卡洛采样方法。MCMC 方法的基本思想是通
过构建一个平稳分布为 π(x) 的 Markov 链 X(1), · · · , X(n)，在一
定条件下可得
( ) ∫
1 ∑n
Eˆ f = f X(i) →P E f = f(x)π(x)dx, (1)
π n π
i=1 X
这里 →P 表示依概率收敛。
. . . . . .
第八章 5 / 55MCMC 方法
Metropolis-Hastings 方法
Gibbs 抽样
链
. Markov
根据式 (1), 需构建合适的 Markov 链 X(1), · · · , X(n)，本节主
要介绍 Markov 链及其相关性质，首先引出 Markov 链的如下定
义。
.
Markov 链
.
对随机变量序列 {X(0), X(1), X(2), · · · }，在任一时刻 t ≥ 0, 序列
中下一时刻 t + 1 的 X(t+1) 由条件分布 P(x|X(t)) 产生，它只依
赖于时刻 t 的当前状态，而与时刻 t 以前的历史状态
{X(0), · · · , X(t−1)} 无关。满足这样条件的随机变量序列称为
.Markov 链。
. . . . . .
第八章 6 /