文档介绍：概率论与数理统计第17讲
本文件可从网址
.
上下载
(单击ppt讲义后选择'工程数学1'子目录)
1
第十一章马尔可夫链
§1 马尔可夫过程及其概率分布
2
在物理学中, 很多确定性现象遵从如下演变原则: 由时刻t0系统或过程所处的状态, 可以决定系统或过程在时刻t>t0所处的状态, 而无需借助于t0以前系统或过程所处状态的历史资料. 如微分方程初值问题所描绘的物理过程. 将这样的原则延伸到随机现象, 引入马尔可夫性或无后效性: 过程(或系统)在时刻t0所处的状态为已知条件下, 过程在时刻t>t0所处状态的条件分布与过程在时刻t0之前的状态无关. 即已经知道过程"现在"的条件下, 其"将来"不依赖于"过去".
3
设随机过程{X(t), tT}的状态空间为I. 如果对任意n个时间值t1<t2<...<tn, n3, tiT, 在条件X(ti)=xi,xiI, i=1,2,...,n-1下, P{X(tn)xn|x(t1)=x1, X(t2)=x2,...,X(tn-1)=xn-1} =P{X(tn)xn|X(tn-1)=xn-1}, xnR, ()或写成
则称过程{X(t), tT}具有马尔可夫性或无后效性, 并称此过程为马尔可夫过程.
4
例1 设{X(t),t0}是独立增量过程, 且X(0)=0, 证明{X(t),t0}是一个马尔可夫过程.证由()式知, 只要证明在已知X(tn-1)=xn-1的条件下X(tn)与X(tj), j=1,2,...,n-2相互独立即可. 而当0<tj<tn-1<tn, j=1,2,...,n-2时, 增量 X(tj)-X(0) 与 X(tn)-X(tn-1)相互独立. 根据条件X(0)=0和X(tn-1)=xn-1, 知 X(tj) 与 X(tn)-xn-1相互独立. 此时X(tn)与X(tj), j=1,2,...,n-2相互独立. 这表明X(t)具有无后效性, 即{X(t),t0}是一个马尔可夫过程.
5
由此可知, 泊松过程是时间连续状态离散的马氏过程, 维纳过程是时间状态都连续的马氏过程.时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简称马氏链, 记为{Xn=X(n), n=0, 1, 2,...}, 它可以看作在时间集T1={0,1,2,...}上对离散状态的马氏过程相继观察的结果. 我们约定记链的状态空间I={a1,a2,...}, aiR.
6
对链的情形, 对任意的正整数n,r和0t1<t2<...< tr<m; ti, m, n+mT1, 有
其中aiI. 记上式右端为Pij(m,m+n), 称
Pij(m,m+n)=P{Xm+n=aj|Xm=ai} ()
为马氏链在时刻m处于状态ai条件下, 在时刻m+n转移到状态aj的转移概率. 易知
7
转移概率组成的矩阵P(m,m+n)=(Pij(m,m+n))称为马氏链的转移概率矩阵, 上式表明此矩阵的每一行元素之和等于1.当转移概率Pij(m,m+n)只与i,j及时间间距n有关时, 把它记为Pij(n), 即 Pij(m,m+n)=Pij(n)并称此转移概率具有平稳性. 同时也称此链是齐次的或时齐的. 以下仅限于讨论齐次马氏链.
8
在马氏链为齐次的情形下, 转移概率 Pij(n)=P{Xm+n=aj|Xm=ai} ()称为马氏链的n步转移概率, P(n)=(Pij(n))为n步转移概率矩阵. 在以下的讨论中特别重要的是一步转移概率 pij=Pij(1)=P{Xm+1=aj|Xm=ai}或由它们组成的一步转移概率矩阵
9
在上述矩阵的左侧和上边标上状态a1,a2,...,是为了显示pij是由状态ai一步转移到状态aj的概率.
10