文档介绍：第二章 Markov过程
本章我们先讨论一类特殊的参数离散状态空间离散的随机过程,参数为,状态空间为可列或有限的情况,即讨论的过程为Markov链。Markov链最初由Markov于1906年引入,至今它在自然科学、工程技术、生命科学及管理科学等诸多领域中都有广泛的应用。之后我们将讨论另一类参数连续状态空间离散的随机过程,即纯不连续Markov过程。
Markov链的定义
定义:设随机序列的状态空间为,如果对,及,有:
(A)
则称为Markov链。
注1:随机序列也可记为。
注2:等式(A)刻画了Markov链的特性,称此特性为Markov性或无后效性,简称为马氏性。Markov链也称为马氏链。
定义:设为马氏链,状态空间为,对于
,称
为马氏链在时刻的一步转移概率。若对于,有
即上面式子的右边与时刻无关,则称此马氏链为齐次(或时齐的)马氏链。
对于齐次马氏链,我们记,称矩阵为齐次马氏链的一步转移概率矩阵,简称为转移矩阵。
注3:对于马氏链,我们有:
因此,只要得到了马氏链的一步转移概率及初始分布,就可以求得马氏链的任意前维的联合分布。特别地,若马氏链是齐次的,则由转移矩阵及初始分布,就可以得到齐次马氏链的任意前维的联合分布。
注4:一步转移概率满足:
注5:若状态空间是有限的,设状态数为则一步转移矩阵是阶方阵,若状态是无限可列的情形,则一步转移矩阵只是形式上的矩阵。
普曼-柯尔莫哥洛夫(C-K)方程
(一)步转移概率的定义
定义:称为马氏链的步转移概率。在齐次马氏链的情况下,与无关,我们记为,称
为齐次马氏链的步转移(概率)矩阵。
显然有:
时,即为一步转移矩阵。
规定:
(二)切普曼-柯尔莫哥洛夫(C-K)方程
定理:对于步转移概率有如下的C-K方程:
对于齐次马氏链,此方程为:
(C-K方程)
证明:由全概率公式,有:
对于齐次马氏链的情形:我们可以写成矩阵的形式即有:
由此推出:
其中:
由此可知:对于齐次马氏链,如果知道了它的初始分布和一步转移矩阵,就可以求得的所有有限维概率分布。即有:
上式中各步转移概率均可由C-K方程求出,利用一步转移矩阵及初始分布就可以完全确定齐次马氏链的统计性质。
马氏链的例子
随机游动:
无限制的随机游动:
以表示时刻时质点所处的位置,则是一齐次马氏链,其状态空间为,一步转移概率为:
现在求步转移概率:
设次转移中向右次,向左次,则有
即有:
带有一个吸收壁的随机游动:
特点:当时,就停留在零状态。
此时是一齐次马氏链,其状态空间为,一步转移概率为:
注意;状态为马氏链的吸收状态的充要条件是:。
带有二个吸收壁的随机游动:
此时是一齐次马氏链,状态空间为,为两个吸收状态,它的一步转移概率为:
即有:
带有一个反射壁的随机游动:
特点:一旦质点进入零状态,下一步它以概率向右移动一格,以概率停留在零状态。
此时的状态空间为,它的一步转移概率为:
带有二个反射壁的随机游动:
此时的状态空间为,它的一步转移概率矩阵为:
即有:
排队模型
离散排队系统
考虑顾客到达一服务台排队等待服务的情况。
若服务台前至少有一顾客等待,则在单位时间周期内,服务员完成一个顾客