文档介绍：第二章 Markov过程
(六)闭集和状态空间的分解
定义:设是状态空间的一个子集,如果从内任何一个状态不能到达外的任何状态,则称是一个闭集。如果单个状态构成的集是闭集,则称状态是吸收态。如果闭集中不再含有任何非空闭的真子集,则称是不可约的。闭集是存在的,因为整个状态空间就是一个闭集,当不可约时,则称此马氏链不可约,否则称此马氏链可约。
有关的性质:
(1)是闭集
(2)是闭集
(3)为吸收态
(4)齐次马氏链不可约任何两个状态均互通
(5)所有常返态构成一个闭集
(6)在不可约马氏链中,所有状态具有相同的状态类型
定义:对,若正整数集非空,则定义其最大公约数为状态的周期,记为,当时,称该状态无周期。
定义:称非周期正常返状态为遍历态。
注意:一个不可约的、非周期的、有限状态的马氏链一定是遍历的。
(七)常返、非常返、周期状态的分类特性
设,则和或者都是非常返态,或者都是零常返态,或者都是正常返非周期的(遍历),或者都是正常返有周期的且有相同的周期。
(八)周期状态的判别
按互通性将状态分类后,在同一类集合中选一个状态判别其周期性即可。
如有正整数,使得,则状态无周期。
如有正整数,使得步转移概率矩阵中相应某状态的那一列元素全不为零,则状态无周期
(九)分解定理
齐次马氏链的状态空间可唯一地分解为有限多个或可列多个互不相交的状态子集之并,即有。
其中:是非常返态集,每个均是由常返状态组成的不可约集,其中的状态互通,因此中的状态具有相同的状态类型:或者均为零常返;或者均为正常返非周期(遍历);或者均为正常返有且有相同的周期;而且对于。
(周期链分解定理)一个周期为的不可约马氏链,其状态空间可以分解为个互不相交的集之并,即有:
且
其中约定。
基于上面的(1),我们将状态空间中的状态依的次序从新排列,则转移矩阵具有以下的形式
其中均为随机矩阵,他们对应的链是不可约的。称以上形式的转移矩阵为标准形式。
(十)有限马氏链的性质
所有非常返状态组成的集合不可能是闭集。
没有零常返状态。
必有正常返状态。
不可约有限马氏链只有正常返态。
状态空间可以分解为
其中:每个均是由正常返状态组成的有限不可约闭集,是非常返态集。
(十一)例子
例1 设有三个状态的齐次马氏链,它的一步转移概率矩阵为:
试研究其状态关系。
例2 设有四个状态的齐次马氏链,它的一步转移概率矩阵为:
试研究其状态关系。
解:正常返,非常返,吸收态。
例3 设马氏链的状态空间为,转移概率为:,,,研究各状态的分类。
解:画出状态转移图,可知:
,故,故状态1是常返的。
又,故状态1是正常返的。
易知状态1是非周期的,从而状态1是遍历的。
对于其它状态,由于,因此也是遍历的。
例4 设有八个状态的齐次马氏链,它的一步转移概率矩阵为:
讨论其周期性。
解:主对角线为0,它是具有周期性的转移矩阵的标准形式。八个状态可以分为四个子集,,,
,,它们互不相交,它们的并是整个状态空间,该过程具有确定的周期转移,即:,周期为4。
例5 设齐次马氏链的状态空间为,一步转移矩阵为:
求:(1)的分布率及,(2)
解:(1)画出状态转移图,可得的分布率为:
1 2 3 4 … n …
……
因此,。
(2)由于:
,故
,故
,故
因此,状态1和2为非常返态,3为常返态。
例6 设齐次马氏链的状态空间为,一步转移矩阵为:
试研究其状态关系。
解:画出状态转移图,可知:
故状态3和4为非常返态。
故状态1和2都是正常返的,易知它们是非周期的,从而是遍历状态。
例7 设一齐次马氏链的状态空间为,其状态转移矩阵为:
试讨论此链状态的分类及常返的充分必要条件。
例8设一口袋中装有三种颜色(红、黄、白)的小球,其数量分别为3、4、3。现在不断地随机逐一摸球,有放回,且视摸出球地颜色计分:红、黄、白分别计1、0、-1分。第一次摸球之前没有积分。以
表示第次取出球后的累计积分,
(a),是否齐次马氏链?说明理由。
(b)如果不是马氏链,写出它的有穷维分布函数族;如果是,写出它的一步转移概率和两步转移概率。
(c)令,求。
附录:转移矩阵估计问题
设为一齐次马氏链,状态空间为,我们有此马氏链的一次实现(样本),而转移矩阵未知,如何用现有数据来估计转移矩阵?
记在状态之后首次出现状态的时间为,定义似然函数:
相应的对数似然函数为:
利用约束条件,由极大似然估计法(MLEs)我们有如下估计式:
注:此估计为局部最大估计。也可以由以下引理得到以上的估计。
引理:设,则在约束条件下,函数在处取得最大。
关心的问题: