文档介绍:随机过程马氏过程
第1页,本讲稿共23页
*
我们注意到,齐次马氏链的n步转移概率当n趋于无穷时,即过程的转移无限进行下去时,其极限可能存在,而且也可能与起始状态i无关,例如只有两个状态的马氏链,其一步转移概率随机过程马氏过程
第1页,本讲稿共23页
*
我们注意到,齐次马氏链的n步转移概率当n趋于无穷时,即过程的转移无限进行下去时,其极限可能存在,而且也可能与起始状态i无关,例如只有两个状态的马氏链,其一步转移概率矩阵为
易知其任意步转移概率矩阵为
第2页,本讲稿共23页
*
又如一齐次马氏链,状态空间为E={1,2,3},其一步转移概率矩阵,二步,三步转移概率矩阵为
第3页,本讲稿共23页
*
于是由此可推测
第4页,本讲稿共23页
*
因此,一般来说,通常讨论关于齐次马氏链的n步转移概率的两方面问题,一是其极限是否存在?二是如果此极限存在,那么它是否与现在所处状态i无关,在马氏链理论中,有关这两方面问题的定理,统称为遍历性定理。
第5页,本讲稿共23页
*
一 齐次马氏链的遍历性
设齐次马氏链的状态空间为E={1,2,…},若对于E中所有的状态 i,j,存在不依赖于i的常数πj,为其转移概率的极限,即
其相应的转移矩阵有
第6页,本讲稿共23页
*
则称此齐次马氏链具有遍历性,并称πj为状态j的稳态概率。
第7页,本讲稿共23页
*
设齐次马氏链{X(n),n≥1}的状态空间为E={1,2,…,N},若存在正整数m,使对任意的i,j∈E,其m步转移概率均大于0, 即
则此马氏链具有遍历性;且各状态的稳态概率满足下列方程组
第8页,本讲稿共23页
*
及概率分布条件
注1 判断马氏链的遍历性有很多方法,本定理只是其中一个较为简单的方法.
注2 本定理不仅给出了判断马氏链的遍历性的方法,也给出了求其稳态概率的方法.
第9页,本讲稿共23页
*
设齐次马氏链的状态空间E={1,2,3},其一步转移概率为
试问此链是否具有遍历性?若有,试求其稳态概率.
第10页,本讲稿共23页
*
解:注意到
即知其所有的二步转移概率均大于0,,此链具有遍历性.
第11页,本讲稿共23页
*
再由转移概率与稳态概率满足的方程组得
解之可得稳态概率为
第12页,本讲稿共23页
*
设齐次马氏链的状态空间E={1,2},其一步转移概率矩阵为
试讨论该链的遍历性。
解:容易计算得出,该链的其n步转移矩阵与其一步转移矩阵P相同,即
第13页,本讲稿共23页
*
,此链不具有遍历性,也不存在稳态概率。
第14页,本讲稿共23页
*
二 齐次马氏链的平稳分布
设{X(n),n≥0}是一齐次马氏链,若存在实数集合{rj,j∈E},满足
则称{X(n),n≥0}是一平稳齐次马氏链, 称{rj ,j∈E} 为该过程的一个平稳分布。
第15页,本讲稿共23页
*
已知{X(n),n≥0}的初始分布为
其一步转移矩阵为
试说明此马氏链是平稳的,且其初始分布为其平稳分布。
第16页,本讲稿共23页
*
解 由平稳分布满足的方程组注意到
第17页,本讲稿共23页
*
,故具有上述转移概率的齐次马氏链为一平稳齐次马氏链,初始分布为其一个平稳分布。
设{X(n),n≥0}是一平稳齐次马氏链,若其初始分布P(0)={p1(0),p2(0),…,pj(0),…} 为此链的平稳分布时,则对任何n≥1,绝对概率等于初始概率,即:
证 若平稳齐次马氏链的初始分布为平稳分布 时,则有
第18页,本讲稿共23页
*
而齐次马氏链的绝对概率为其初始分布与转移概率确定
第19页,本讲稿共23页
*
第20页,本讲稿共23页
*
由此可见,当我们能判定齐次马氏链的初始分布是一平稳分布时,则该马氏链在任何时刻的绝对概率分布都与初始分布相同。事实上,平稳分布就是不因转移步数变化而改变的分布。此时马氏