文档介绍：第二章 Markov过程
几种重要的纯不连续马氏过程
Poission过程(专门讲解)
纯增殖过程(人口问题)
纯增殖过程的转移概率为:
即在纯不连续增殖过程中,如果在内出现个个体的条件下,在内出现一个新个体的概率为,出现二个或二个以上新个体的概率为,没有出现新个体的概率为。
纯增殖过程的状态空间为
关心的问题是:在时刻,系统具有个个体的概率是多少,即要求:
假定初始()时系统有个个体,,即,并假定(与无关),我们来求。
我们注意到:在内出现个个体可以等价于下列不相容的情况之和:(a)在内出现个个体,在
内出现0个个体;(b)在内出现个个体,在内出现1个个体;(c)在内出现个个体或个体以下,在内出现2个个体或2个个体以上,因此有:
因此有:
同理,有:
即有:
用Laplace变换解此微分方程可得:
生灭过程
定义:纯不连续马氏过程如果满足:
过程中状态转移仅限于从一个状态向其邻近状态转移;
若,则在内产生由状态转移到状态的概率为:;产生由状态转移到状态的概率为:;
若,则在内转移二个或二个以上状态的概率为。
则称此纯不连续马氏过程为生灭过程。
状态空间为
由定义,可得生灭过程的(生灭矩阵)矩阵为:
在条件,,()下,有:
因此,可知对,有,从而这样的生灭过程是不可约的。
由生灭矩阵可以写出K-F前进方程:
(A)
Fokker-Planck方程:
其中。以上的()均可以是的函数。
如果的极限分布存在,即,且与无关,则有,因此在Fokker-Planck方程中令,有:
解以上代数方程组得:
利用:,我们有:
由此可知,当
时,,因此可得以下定理:
定理:设时生灭过程,,,,则存在唯一的平稳分布(它就等于极限分布)的充要条件为:
且
给定起始状态,就可以求得过程在时刻处于状态的概率,初始条件为:
如果均是的函数,则上述过程称为非齐次生灭过程;
如果均是的线性函数,则称为非齐次线性生灭过程;
如果均与的无关,则上述过程称为齐次生灭过程。
特别地,假设,此时过程是非齐次线性生灭过程,关于此情况时的微分方程(A)的解法(用母函数求解法)可以看P179(课后阅读)。
当(与无关),此时过程是齐次线性生灭过程,对于此时,我们可以求,具体求法如下:
此时的生灭矩阵为
写出福克-普朗克方程:
令:
则有:
由于:
因此:
即有:
利用初始条件:,即可求得:
由上面求解过程可以看到,一般来说,解前进方程、后退方程和福克-普朗克方程是比较困难的,有时根本无法求得。但是,如果只要研究时的极限情况,我们就可以利用上面8(二)中提到的方法,将微分方程求极限后,转化为解线性代数方程组,下面通过例子说明具体的求法。
例:(电话交换问题)某电话总机有条线路。在某一呼唤来到时如有空闲线路,则该呼唤占用其中某一条空闲线路,并开始通话。如果通话结束,则该线路使用完毕而称为空闲线路,等待下一次呼唤。如果呼唤来到时遇到条线路均被占用,则该呼唤招到拒绝而消失。设有按poission分布的呼唤流,即在内来到一次呼唤的概率为,来到二次或二次以上的呼唤的概率为;并设如果某一线路在某时刻被占用,而在内这条线路空闲出来的概率为,即通话时间按负指数分布。求总机在时刻有条线路被占用的概率?以及当时,有条线路被占用的概率?
解:此时的状态空间为,,并且是一生灭过程,生灭矩阵为:
写出福克-普朗克方程:
令:,我们有:
设:,则有:
因此
故有:
利用:
可得:
画出转移率转移图,注意用极限平衡原理求解。
几种特殊的生灭过程:
有迁入的线性增长模型:此时,(见习题17);
纯生过程(Yule过程):此时;
纯灭过程:此时,(见习题18);
排队和服务问题
任何排队过程都由3个历程组成:到达过程、排队和服务过程。根据这三个历程不同可以建立不同的概率模型,如M / M /
1和M / M / s及一般的G1 /G2 / s模型,对于排队和服务问题,我们所关心的是:
服务系统中顾客的平均数
排队等候的顾客平均数
顾客在系统中所花费时间的平均数
顾客化在排队等候的时间平均值
下面通过例子讨论以上几个问题。
例无容量限制的M / M / 1排队系统,该系统的顾客到达服从Poission分布,只有一个服务员,服务时间服从负指数分布,且都是独立的。
解:考虑系统进入平稳分布情况。此时是情况的生灭过程。
根据上面的解法,我们有:
当时,有平稳分布,且平稳分布为:
系统中顾客的平均数为:
排队等候的顾客平均数为:
当系统中有个人,其中一人被服务,人排队等候,排队等候的顾客平均数为: