浙江大学 本科随机过程课件(2).ppt

文档介绍：随机过程
1
关键词:
无后效性(马尔可夫性)
齐次马尔可夫链
n步转移概率
n步转移概率矩阵
C-K方程
马氏链的有限维分布律
遍历性
极限分布(平稳分布)
第十一章马尔可夫链
2
§1 马尔可夫过程及其概率分布
马尔可夫性(无后效性)
过程(或系统)在时刻t0所处的状态为已知的条件下,过程在时刻t>t0所处状态的条件分布与过程在时刻t0之前所处的状态无关。
通俗地说,就是在已经知道过程“现在”的条件下,其“将来”不依赖于“过去”。
证毕!
由上例知,泊松过程是时间连续状态离散的马氏过程,
维纳过程是时间状态都连续的马氏过程。
4
5
6
7
8
9
时间和状态都离散的马尔可夫过程称为马尔可夫链,
简称马氏链,记为:
{Xn=X(n),n=0,1,2,…},参数集T={0,1,2,…},
记链的状态空间为:
10