文档介绍：该【马尔可夫过程公开课获奖课件赛课一等奖课件 】是由【梅花书斋】上传分享，文档一共【26】页，该文档可以免费在线阅读，需要了解更多关于【马尔可夫过程公开课获奖课件赛课一等奖课件 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。期末考试
时间： 1月18曰 （星期四）9:00—11:00
地点： 6教301
方式： 闭卷
考试范围：第一章到第五章
考试内容：从作业题中选题
第五章 Markov Process (马尔可夫过程)
马尔可夫过程具有“无后效性”
在这一章，我们简介Markov Process 的最简单的两种类型：离散时间离散状态Markov链，持续时间离散状态Markov链。
马尔可夫过程广泛应用于计算机、通讯、自动控制、随机服务、可靠性、生物学、经济、管理、教育、气象、物理、化学等众多领域。
也就是说，这些领域中的许多现象可以用马尔可夫过程来近似描述，从而进行分析。
首先我们先说明什么是离散状态。对定义在概率空间
上的一个随机过程 , 显然它的元素是从 到实数域 的一个函数。如果 的值域只包含有限个或可数个元素
那么可以用 来表示 我们称 为随机过程的离散状态空间，它的元素称为离散状态。
基 本 概 念
(Markov链). 随机过程 被称为Markov链， 如果对任意的 ，有
()
公式()刻画了Markov链的无后效性。
Markov链的定义
Markov链是离散时间离散状态的马尔可夫过程。
由公式()知，给定Markov链的初始分布 ，其统计特性可以由条件分布
唯一确定。因此怎样确定这个条件概率，是Markov链理论和应用中的重要问题之一。
转移概率
(转移概率). 称式 ()中的条件概率
为Markov链 的一步转移概率，简称转移概率。
一般情况下，转移概率和时刻 有关。如果无关，则称这样的Markov链为齐次Markov链， 即：
(齐次Markov链). 当Markov链的转移概率
与 无关时，称Markov链是齐次的(homogeneous),并记
；否则称它为非齐次的。
注：齐次Markov链有时也称为时齐Markov链。 在这门课中我们只考虑齐次Markov链。
为以便记，我们定义如下的矩阵：
()
这里，
称 为转移概率矩阵，简称为转移矩阵。
容易验证，转移矩阵 具有如下性质：
(1)
(2)
()
(随机矩阵). 假如一种矩阵具有公式()中两条性质，则称此矩阵为随机矩阵。
某些例子
例 . (赌徒破产模型) 系统的状态是 到 ，反映赌博者A在赌博期间拥有的钱数。当他输光或拥有钱数为 时，赌博停止；否则他将持续赌博。假设每次他以概率 赢得1， 以概率 输掉1。
显然，上述过程是一种齐次Markov链。其转移矩阵为
()
例 . (带有一次赞助的赌徒破产模型) ，那么转移矩阵为：
()
例 . 设有一蚂蚁在右图上爬行。当两个节点相邻时，蚂蚁将爬向其中一点，并且爬向任意一种邻居的概率是相似的。则此Markov链的转移矩阵是
1
2
3
4
5
6
步转移概率 C-K 方程
( 步转移概率 ). 称条件概率
()
为Markov链的 步转移概率，相应的称 为 步转移矩阵。
显然，当 时， 。此外规定
()
即 为单位矩阵。
知， 步转移概率 是系统从状态 经 步后转移到状态 的概率。
(Chapman-Kolmogorov 方程，简称C-K方程) 对一切
有
(1)
(2)
()
()