文档介绍：第二章 Markov过程
4. 马尔可夫链状态的分类
(一) 到达与相通
定义:对给定的两个状态,若存在正整数,是的,则称从状态可到达状态,记作,反之称从状态不可到达状态。
注意:当状态不能到达状态时,对于,,因此
定义:有两个状态和,如果由状态可到达状态,即,且由状态也可到达状态,即,则称状态和状态相通,记作。
定理:可到达和相通都具有传递性。即若,则;若,则。
证明:如果,则由定义,存在和,使得:
根据C-K方程,我们有:
因此,。同理可以证明相通的情形。
(二) 首达时间和首达概率:
定义:对于任意的,称:
为从状态出发首次到达(进入)状态的时间(时刻),简称首达时间。
注意:首达时间是一随机变量,它取值于。
定义:对于任意的,称:
为系统在0时从状态出发,经步首次到达状态的概率。
由定义,显然有:
定义:对于任意的,称:
为系统在0时从状态出发经过有限步转移后迟早到达状态的概率。
注意:,它表示系统在0时从状态出发,经过有限步转移后不可能到达状态的概率。
(三)首达概率的基本性质:
(1)对于任意的,
(2)对于任意的及,有:
(3)对于任意的,。
(4)对于任意的,
证明:因为:
而
于是我们有:
因此,有:
因此:
即有:
于是结论(2)成立。
当时,,使得,取:
,
则有:
因此
反之,当时,,使得,从而,得。
因此(3)成立,(4)是(3)的结果。
(四)状态的分类
定义:对于状态,如果,则称状态为常返态(返回态);如果,则称状态为非常返态(滑过态)。
令条件数学期望:
是从状态出发,到达状态的平均转移步数(时间)。
注意:特别地,若,则是从状态出发,首次返回状态的平均转移步数,称为状态的平均返回时间;对应的称为状态的返回概率;称为从状态出发,首次返回状态的概率。
定义:对于常返态,若,则称状态是正常返的;否则,若,则称状态是零常返的。
(五)常返态和非常返态的判别
状态是常返()的。
状态是非常返()的。
如果是非常返的,则对,有;。
设,则和或者都是正常返的,或者都是非常返的,或者都是零常返的。
若状态是常返的,则是零常返的
如果是零常返的,则对,有。
证明:对于序列和,分别引入其母函数为:
上面两个级数当时,都是绝对收敛的。利用公式:
我们有:
令,由上式,有:
在上式中,令,我们有:
由此可得以上结论的(1)、(2)。
另外,当是非常返态,且时,由
可得:
即
,且
由此可得结论(3)。
若,则存在正整数,使得
因此对于任意的正整数,有:
由此可得:
因此,当是常返态时,可知也是常返态;当是非常返态时,可知也是非常返态。结论(4)成立。
注意:一个状态有限的马氏链,不可能所有状态都为非常返态。
例1 (赌徒输光问题)赌徒甲有赌资元,赌徒乙有赌资元,为不小于的正整数。两人进行一系列的赌博。每赌一局,输者给赢者元,没有和局,直赌到两人中有一人输光为止。设在每局中甲赢的概率为,输的概率为,求甲输光的概率。
解:此问题实际上就是状态空间为的一个马氏链,其中状态和状态为吸收态。甲开始处于状态,最后它要么到达状态(输光),要么到达状态(将对方赢完),然后就不赌了。求甲输光的概率,实际上就是求甲从状态首达状态的概率。理论上有一步转移概率矩阵(很容易写出)就可以求得,但这样求相当麻烦,现在用其它方法来求。
令为甲从状态出发首达状态的概率。我们要求的是。因为状态和状态为吸收态,所以,用全概率公式,我们有:
因此有:
因此有:
令,利用,可得:
代入上面的式子,有
令,,可得:
此即为所要求的结果。
当时,
当时,。
例2 设有一电脉冲,脉冲的幅度是随机的,其幅度的可取值是,且各幅度出现的概率相同。现用一电表测量其幅度,每隔一单位时间测量一次,从首次测量开始,记录其最大幅值为
。(1)证明该过程为一齐次马氏链;(2)写出一步转移概率矩阵;(3)仪器记录到最大值的期望时间。
解:(1)记:是第()次记录的幅度值,则是相互独立同分布的随机变量序列。是前次记录幅度的最大值。则有:
以上用到了的相互独立性。因此:
因此此过程是齐次马氏过程。
(2)一步转移概率为
(3)设为仪器记录到最大值的首达时间,则可以看为起初在状态的首达返回时间,则:
,
因此记录到最大值的期望为