随机过程马氏过程.ppt

文档介绍：1 一、马尔可夫过程的数学定义二、满足马氏性的随机过程三、马氏过程的分类四、马氏过程的有限维分布族 2一、马尔可夫过程的数学定义马尔可夫过程是具有所谓马尔可夫性的一类特殊的随机过程. 1 马尔可夫特性若当某随机过程{X(t),t ∈ T} 在某时刻 t k 所处的状态已知的条件下,过程在时刻 t(t>t k) 处的状态只会与过程在 t k时刻的状态有关,而与过程在 t k以前所处的状态无关。这种特性即称为马尔可夫性,亦称之为无后效性。 3 例如: 假设一部电梯是由进入电梯内的人自行操纵的,那么电梯下一步会运行到何处,只依赖于当前在电梯内的人的意图,而与过去电梯从何而来是无关的; 又如: 某电话交换台在时段[0,t k)内收到 x k 次呼唤,则在时段内[0,t)(t>t k)收到的呼唤次数 X(t) 为在[0,t k)内收到的呼唤次数与[t k ,t) 内收到的呼唤次数之和,其中 x k为确定已知时,这个数 X(t) 就与 t k以前呼唤的历史情况无关. 4 定义 设{X(t),t ∈ T} 为一随机过程, E为其状态空间,若对任意的 t 1 <t 2<…<t n <t ,任意的 x 1 ,x 2,…,x n ,x ? E,随机变量 X(t) 在已知条件 X(t 1 )=x 1 , X(t 2 )=x 2,…, X(t n )=x n 下的条件分布函数若只与 X(t n )=x n有关,而与 X(t n-1 )=x n-1 ,..., X(t 2 )=x 2 , X(t 1 )=x 1无关, 即条件分布函数满足等式: 2 马尔可夫过程的数学定义 5 ),|,(),,,,,,,|,( 1111 nn nn nn txtxFtttxxxtxF?????))(|)(())(,,)(|)(( 11 nn nnxtXxtXPxtXxtXxtXP ???????注 1 若 X(t) 为离散型随机变量时,上式等价为此式即为马尔可夫性的数学表示})(,,)(|)({ 11xtXxtXxtXP nn????则称此过程为马尔可夫过程,简称为马氏过程。})(|)({ nnxtXxtXP??? 6 注 2 若 X(t) 为连续型随机变量时,上式等价为),|,(),,,,,|,( 1 1 nn n ntxtxfttxxtxf???注 3 马氏过程的参数集 T常用的有两种情形: (1)具连续的区间参数集的马氏过程; (2)具可列参数集的马氏链. 7 3 马尔可夫特性的数学解释若把时刻 t n视作“现在”,而 t>t n,故视 t 为“将来”,自然视时刻 t 1 <t 2<…<t n-1 为“过去”,因此上述定义中的条件可表述为:在 t n 时刻过程 X(t) 处于 X(t n )=x n的状态条件下, X(t) 的“将来”状态只与“现在”状态有关,而与“过去”状态无关。 8 所以有人形象地将马氏过程戏称为一个“健忘”过程,即指它是一个只注重现在,而把过去经历统统忘却的一类特殊的随机过程。也可以说,过程 X(t) 的“将来”只通过“现在”与“过去”发生联系,一旦“现在”已经确定, 则“将来”与过去无关。 9 二、满足马氏性的随机过程 1 独立随机过程为马氏过程证:设 X(t) 为一独立随机过程,则由定义可知,对于任意的,,,,,, 21Tttttn n?? Exxxx n?,,,, 21?及相互独立, )( ),(, ),( ),( 21tXtXtXtX n?})(,,)(|)({ 11xtXxtXxtXP nn???? 10 })({})({ })({})({})({ 11 11xtXPxtXP xtXPxtXPxtXP nn nn????????})({ })({})({})({ nn nnxtXP xtXPxtXPxtXP??????})(,,)({ })(,,)(,)({ 11 11xtXxtXP xtXxtXxtXP nn nn????????})(|)({})({ })(,)({ nn nn nnxtXxtXPxtXP xtXxtXP???????