文档介绍：第二章 Markov过程

(一)纯不连续马氏过程的离散骨架
记,,称,为纯不连续马氏过程在时刻的分布,称为初始分布。
注意:任意个时刻的联合分布率可由和唯一确定,且有关系:
定义:对于纯不连续马氏过程,任取,记:
则是一离散时间的马氏链,称为以为步长的离散骨架,简称骨架。它的步转移概率矩阵为。

对于满足连续性条件的齐次纯不连续马氏过程,有以下结论:
命题:,有。
证明:由,及连续性条件,可知:
对任意固定的,当充分大时,有,由C-K方程有:
因此可得:

由此命题可知:对所有的及正整数,及,有,这意味着对每一个离散骨架,每一个状态都是非周期的。因此对于纯不连续的马氏过程,无需引入周期的概念。
定义:若存在,使得,则称由状态可达状态,记为;若对一切,有,则称由状态不可达状态;若且,则称状态与相通,记作。
由上面的命题可知,,因此相通是一等价关系,从而可以相通关系对状态空间分类。相通的状态组成一个状态类。整个状态空间是一个状态类,则称该纯不连续马氏过程是不可约的。
定义:(1)若,则称状态为常返状态;否则称状态为非常返状态。
(2)设为常返状态,若,则称状态为正常返状态;若,则称状态为零常返状态。
(3)若概率分布,满足:
则称为的平稳分布。
(4)若对,存在,则称为的极限分布。
与马氏链的讨论类似,我们有:
定理:不可约纯不连续马氏过程是正常返的充分必要条件是它存在平稳分布,且此时的平稳分布就是极限分布。
下面讨论和的极限性质,讨论状态空间有限且各状态都相通的情形。状态无限可列的情形有类似的结果。
(二)极限性质
命题:当时,趋于一个与初始分布无关的极限的充分必要条件是对任何状态趋于同一极限。
证明:设初始分布为,由全概率公式有:
“”:若时,趋于一个与初始分布无关的极限,即当
时,
特别地取一种初始分布,我们有:
因此有:
(极限与无关)
“”:若,则对于任意的,有:
定理:(Markov定理)对于状态有限的纯不连续马氏过程,若使得对于有,那么极限存在且与无关。
由上面的定理和命题,我们可知,对于纯不连续马氏