中南大学随机过程.pptx

文档介绍：随机过程与排队论数学科学与计算技术学院胡朝明Email:math_******@-2上一讲内容回顾齐次马氏链状态的分类互通首达常返与非常返正常返与零常返状态空间分解不可约马氏链状态的周期性2019/12/20胡朝明37-3本讲主要内容连续参数马尔可夫链转移概率函数、转移矩阵连续参数齐次马氏链初始分布、绝对分布、遍历性、平稳分布转移概率函数的性质状态转移速度矩阵生灭过程2019/12/20胡朝明37-4§,只是把离散的时间参数改为连续的时间参数,便可得到类似的结果。设随机过程{X(t),t0},状态空间E={0,1,2,…}。若对于0<t1<t2<…<tn<tn+1及非负整数i1,i2,…in,in+1,有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,…,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in}即马尔可夫性成立,则称{X(t),t0}为连续参数马尔可夫链。2019/12/20胡朝明37-5转移概率函数设{X(t),t0}为连续参数马氏链,对任意i,jE={0,1,2,…},任意非负实数s,t,条件概率pij(s,t)=P{X(t+s)=j|X(s)=i}称为此马氏链{X(t),t0}的转移概率函数,显然我们称P(s,t)=(pij(s,t))i,jE为此马氏链的转移矩阵。这里,pij(s,t)的直观意义是:系统(或质点)在时刻s时处于状态i,再经过t时间转到状态j的条件概率。2019/12/20胡朝明37-6连续参数齐次马氏链若{X(t),t0}为连续参数马氏链的转移概率pij(s,t)与时间起点s无关,即 pij(s,t)=P{X(s+t)=j|X(s)=i}=pij(t)则称{X(t),t0}为连续参数齐次马氏链。类似地,一般地,我们要求齐次马氏链的转移概率函数满足如下的连续性条件:P(t)=(pij(t))i,jE称为此齐次马氏链的转移矩阵。 0pij(t)1,2019/12/20胡朝明37-7绝对分布、遍历性、平稳分布设{X(t),t0}为连续参数齐次马氏链则称{vj,jE}为齐次马氏链{X(t),t0}的平稳分布。pj=P{X(0)=j},jE,称{pj,jE}为该马氏链的初始分布;Pj(t)=P{X(t)=j},jE,称{pj(t),jE}为该马氏链的绝对分布;如果转移概率极限存在,,且与i无关则称此连续参数齐次马氏链为遍历的马氏链,此时,我们说该链具有遍历性。若j>0,,则称{j,jE}为齐次马氏链{X(t),t0}的极限分布。如果{vj,jE}满足2019/12/20胡朝明37-8转移概率函数的性质0pij(t)1,i,jE;连续性条件:pij(t)满足C-K方程矩阵形式: P(t+s)=P(t)P(s)绝对概率满足如果齐次马氏链{X(t),t0}是遍历马氏链,则2019/12/20胡朝明37-9转移概率函数的性质(续1)设齐次马氏链{X(t),t0}的状态有限,E={0,1,2,…,s},如果存在t0>0,使得对任意i,jE,都有pij(t0)>0,则此齐次马氏链{X(t),t0}为遍历的齐次马氏链。即存在且与i无关,并且极限分布{j,jE}是唯一的平稳分布:对固定的i,j,函数pij(t)是t>0的一致连续函数。满足连续性条件的连续参数齐次马氏链{X(t),t0}存在下列极限其中qi表示在时刻t时通过状态i的通过速度(或通过强度);qij表示时刻t时从状态i转移到状态j的速度(或强度),qij统称转移速度。2019/12/20胡朝明37-10状态转移速度矩阵设连续参数齐次马氏链{X(t),t0},状态空间E={0,1,2,…,s},下面s+1阶方阵:称为齐次马氏链{X(t),t0}的状态转移速度矩阵,简称Q-矩阵。由连续性条件和导数的定义,显然有即 P’(+0)=Q。