马尔科夫链.ppt

文档介绍：主讲教师:蔡吉花
电话:**********
88036307
caijh2003@
黑龙江科技学院
随机过程
随机
过程
基本概念
泊松过程
平稳过程的谱密度
马尔可夫过程
平稳过程
时间序列分析
《随机过程》的内容
预备知识
第四章马尔科夫链
第0节马尔科夫过程分类
第1节马尔科夫链及转移概率
第2节马尔可夫链的状态分类
第3节马尔可夫链的状态空间分解
第4节平稳分布与遍历性
课程名称: 随机过程
马尔科夫简介
Markov(~)也译马尔可夫,苏联数学家,生于梁赞。1874年进入彼得堡大学物理-数学系学****成为切比雪夫的学生。1878年毕业,取得科学硕士学位,并以《以连分数求微分方程的积分》一文获得金质奖章。1884年取得物理-数学博士学位,1886年成为彼得堡大学的教授,1896年被选为彼得堡科学院院士。1905年退职,被授予功勋教授称号。马尔科夫发表过约70篇著作和论文,内容涉及数论、函数逼近论、微分方程、概率论等方面。他所著的《差分学》和《概率论》两书,被视为经典著作。
在概率论方面,他发展了切比雪夫的力矩方法,扩大了大数定律及中心极限定理的应用范围;发展了概率论的一个新分支,即具有无后效性的随机过程,被称为马尔科夫过程(包括马尔科夫链),在原子物理、理论物理、化学、公用事业等方面都有应用。马尔科夫在数理统计方面也做出了重要贡献,提出了与不变位及有效统计学概念相当的原理。
若表示质点在时刻n所处的位置,分析它的
概率特性。
例1
直线上带吸收壁的随机游动(醉汉游动)
设一质点在线段[1,5 ]上随机游动,每秒钟发生一次随机游动,移动的规则是:
(1)若移动前在2,3,4处,则均以概率向左或向右移动一单位;
(2)若移动前在1,5处,则以概率1停留在原处。
质点在1,5两点被“吸收”
1
2
3
4
5
前言:马尔可夫过程的描述分类
首页
无记忆性
未来处于某状态的概率特性只与现在状态有关,而与以前的状态无关,这种特性叫无记忆性(无后效性)。
例4 布朗运动
直观地:把无记忆性的随机过程,叫马尔科夫过程
连续参数
首页
T离散、E离散:马尔科夫链如:例1
参数T状态I分类
T非离散(连续) 、E离散:纯不连续的马氏过程。如:例3
T非离散(连续) 、E非离散(连续):
连续的马氏过程。如例4
马尔科夫过程的分类:
一、马尔可夫链相关定义
§ 马尔可夫链及其转移概率

则称此马氏链为齐次马氏链(即关于时间为齐次)
注:今后所说的马氏链都是齐次马氏链
首页
与n无关,

称为1步转移概率矩阵
首页
其一步转移矩阵为
状态空间
参数集T={1,2,3,………},
状态空间
其一步转移矩阵为