文档介绍：庄伯金******@bupt.*概率论与随机过程第13章马尔可夫链庄伯金******@bupt.*主要内容马尔可夫过程的概念马尔可夫过程的概率分布多步转移概率遍历性马尔可夫过程的概念马尔可夫性:随机过程在时刻所处状态已知的前提下,过程在所处的状态与时刻之前所处的状态无关。也称为无后效性。马尔可夫性意味着随机过程在已知“现在”的状态下,跟“过去”无关。“过去”的影响已经作用在“现在”上了。马尔可夫过程:设随机过程,若对于时间的任意个数值,在条件下,的分布函数恰等于条件下的分布函数,即 则称随机过程为马尔可夫过程。庄伯金******@bupt.*马尔可夫过程的概念设是独立增量过程,且,则是马尔可夫过程。证明:由题可知和相互独立 即和相互独立。 由独立性即可知只与有关,而与无关,即可得该过程为马尔可夫过程。泊松过程和维纳过程都是马尔可夫过程。马尔可夫链:时间和状态都是离散值的马尔可夫过程称为马尔可夫链,简称马氏链。庄伯金******@bupt.*转移概率与转移矩阵设马氏链,状态空间,记条件概率 称为马氏链在时刻处于状态条件下,在时刻转移到状态的转移概率。由转移概率组成的矩阵 称为转移矩阵。注:转移矩阵每行元素之和为1。庄伯金******@bupt.*转移概率与转移矩阵平稳的转移概率:若对于任意不同的,都有 即转移概率只跟和有关,则称转移概率具有平稳性,记为 称此马尔可夫链为齐次的。若马氏链是齐次的,则称转移概率为步转移概率,转移矩阵为步转移矩阵。特别的一步转移概率记为,一步转移矩阵记为。庄伯金******@bupt.*转移概率与转移矩阵一维随机游动:设一醉汉Q,在直线的点集上作随机游动,且仅在整数秒时随机游动。游动的规则如下:若Q现在位于点处,则下一时刻他各以1/3的概率向左或右移动1格,以1/3的概率停留在原处;Q现在位于点1(或5)处,则下一时刻他以概率1游动到点2(或4)处。转移概率庄伯金******@bupt.*转移概率与转移矩阵转移矩阵庄伯金******@bupt.*转移概率与转移矩阵例:某计算机机房的一台计算机经常出故障,研究者每隔15分钟观察一次计算机运行的状态,收集了24小时的数据(共97次观察),用1表示正常,0表示故障,所得的数据如下:1110010011111110011110111111001111111100011011011110110110101111011101111011111100110**********。设为第个时段的计算机状态,并假定其为齐次马氏链,状态空间。转移概率可通过统计频率近似获得:庄伯金******@bupt.*转移概率与转移矩阵上例中,若计算机在某一时段内状态为0,问在此条件下,下面连续正常工作3刻钟的条件概率是多少?解:条件概率庄伯金******@bupt.*