文档介绍：(第七章)马尔可夫链
马尔可夫链的概念及转移概率
马尔可夫链的状态分类
状态空间的分解
遍历性与平稳分布
马尔可夫过程的四种类型
马尔可夫链
时间、状态都离散
马尔可夫序列
时间离散、状态连续
纯不连续马尔可夫过程
时间连续、状态离散
连续马尔可夫过程(或扩散过程)
时间、状态都连续
1 马尔可夫链的概念及转移概率
[定义] 设有随机过程{ Xn , n T }, 若对于任意的整数n T 和任意的 i0, i1, …, in+1 I ,条件概率满足 则称{ Xn , n T } 为马尔可夫链,简称马氏链。
马氏性 (无后效性)
马尔可夫链的统计特性由以下条件概率所决定:
马尔可夫链的 n+1 维联合概率分布:
转移概率
pij(n) 不仅与状态 i , j 有关,而且与时刻 n 有关。
当 pij(n) 与时刻 n 无关时,表示马尔可夫链具有平稳转移概率。
[定义] 称条件概率 为马尔可夫链{ Xn , n T } 在时刻 n 的一步转移概率,其中 i , j I ,简称为转移概率。
齐次马尔可夫链
[定义] 若对任意的 i , j I ,马尔可夫链{ Xn , n T } 的转移概率 pij(n) 与时刻 n 无关,则称马尔可夫链是齐次的,并记为 pij (n) 为 pij 。
一步转移概率矩阵
性质:
(随机矩阵)
n 步转移概率
[定义] 称条件概率 为马尔可夫链{ Xn , n T } 的 n 步转移概率,并称 为马尔可夫链的 n 步转移矩阵。
规定:
n 步转移概率的性质
[定理] 设{ Xn , n T } 为马尔可夫链,则对于任意整数n 0, 0 l < n 和 i , j I ,n 步转移概率具有下列性质:
C-K方程
初始概率和绝对概率
初始概率:
绝对概率:
初始分布:
绝对分布:
绝对概率向量:
初始概率向量: