文档介绍：第二章 Markov过程
6 参数连续状态离散的马氏过程
(一)参数连续状态离散的马氏过程的转移概率
定义:设是取值于状态空间的随机过程,是有限或无限可列的,如果对于任意的正整数,任意的,及任意的状态,均有:
则称此随机过程为参数连续状态离散的马氏过程(纯不连续了马氏过程)。
对于纯不连续马氏过程,有:
记:
称此条件概率为纯不连续了马氏过程的转移概率。
显然有:
如果仅为时间差的函数,而与和的值无关,则称此纯不连续了马氏过程为齐次的。此时
我们主要讨论齐次纯不连续了马氏过程。
C-K方程:
一般情形:
齐次情形:
连续性条件:
满足连续性条件的马氏过程称为随机连续的马氏过程。
注:固定时,可以证明齐次纯不连续,并且随机连续的马氏过程的转移概率是关于的一致连续函数,并且是可微的。
(二)无穷小转移率及转移率矩阵(矩阵)
取任意充分小的,由连续性条件及注,我们有:
即:
我们称为无穷小转移率或跳跃强度,显然有:
即有:
由及上面的式子,有:
两边求极限,即有:
当状态是有限的时候,我们可以定义一个矩阵如下:
称为转移率矩阵或矩阵。
注:当状态为无限可列时,也可以定义形式上的矩阵。
(三)Kolmogrov—Feller前进方程
由C-K方程,取任意充分小的,有:
由:
有:
即有:
令,我们有:
由初始条件:
即可解得上面的方程组。
当状态有限时,我们令:
则有:
进一步,若记:
则有:
此即为Kolmogrov—Feller前进方程。
(四)Kolmogrov—Feller后退方程
根据C-K方程,取任意充分小的,有:
由:
得:
令,我们有:
当状态有限时,记:
则有:
初始条件为:
上面的方程组即为Kolmogrov—Feller后退方程
(五)Fokker-Planck方程
讨论有限状态的情形,令:
过程的初始分布为:
设在时刻时,过程所处各状态的概率分布为:
则有:
即有:
即有:
因此,得:
此即为Fokker-Planck方程,其初始条件为
解此方程可得任意时刻该过程的一维概率分布。
(六)例子
例1 设有参数连续、状态离散的马氏过程,状态空间为:,当时,,,求。
解:由K-F前进方程,可知:
由
可知
因此,我们有:
解此微分方程,得:
利用初始条件:
可得:
例2 (排列问题)设有一服务台,内到达服务台的顾客数是服从Poission分布的随机变量。单位时间到达服务台的平均人数是。服务台只有一个服务员,对顾客服务时间是按负指数分布的随机变量,平均服务时间为。如果服务台空闲时,到达的顾客立刻得到服务;如果顾客到达时服务员正在为另一顾客服务,则他必须排队等候;如果顾客到达时发现已经有二人在等候,则他就离开不再回来。设
代表在时刻系统内顾客人数(包括正在被服务的顾客和排队等候的顾客)。假设系统在时处于零状态,即服务人员空闲。求时刻系统处于状态的无条件概率所满足的微分方程。
解:(1)写出状态空间:
(2)求矩阵:
(a)当时,在内到达一个顾客的概率为:
在内到达二个或二个以上的顾客的概率为:
因此
由:
可得:
(b)当时,表示在时刻有一个顾客正在备服务。由指数分布的无记忆性,可知,在内完成服务的概率为:
由此可知,在时间内系统由1状态转入到0状态的概率为:
故
在时间内系统由1状态转入到2状态的概率为:
故
同理:
(c)当时,系统不再接受新顾客,此时,状态只可转到2或仍在3。当时,在时间内完成服务的概率为:
因此