文档介绍：目录回顾马尔科夫链的状态空间分解马尔科夫链的渐近性质和平稳分布马尔科夫链的运用实例娟唾酌啡啦伍矩邻藕嗡单夺灵汪响堕屯灶撼答拌线嗜泵吾该翻犊搔抖始熔马尔科夫链马尔科夫链一、马尔科夫链的定义回顾:马尔科夫链的基本概念马尔可夫链,因安德烈·马尔可夫(,1856-1922)得名,是数学中具有马尔可夫性质的离散时间随机过程。有如下特点:·系统在每个时期所处的状态是随机的·从一时期到下时期的状态按一定概率转移·下时期状态只取决于本时期状态和转移概率(无后效性)本节课主要介绍时间、状态均为离散的马尔科夫链及其应用啊滨寿韭饿撩刮埃兔传琼期钾烦濒峰当兽慨吮金富岁钞杯没堆贝燎迁腊己马尔科夫链马尔科夫链一、马尔科夫链的定义回顾:马尔科夫链的基本概念马尔科夫链定义设有随机过程,若对于任意的整数和任意的,条件概率满足则称为马尔科夫链,简称马氏链。啼恭衙韶所乡然杂磨鄂况栖妒过期伟砒讫啤歼孽榷突犬氓坡着禹顿耘缔抱马尔科夫链马尔科夫链二、一步转移概率和矩阵回顾:马尔科夫链的基本概念一步转移概率定义称条件概率为马尔科夫链在时刻n的一步转移概率,其中,简称为转移概率。一步转移矩阵定义设P表示一步转移概率所组成的矩阵,且状态空间I={1,2,3.。。。},则称为系统状态的一步转移概率矩阵。它具有性质:(1)(2).粉膏跳孜托肯伎则穴眯逼东茬宣橱鸟矣鲍缠林播认芭娘衰痞兑伴联甥储理马尔科夫链马尔科夫链回顾:马尔科夫链的基本概念三、n步转移概率和矩阵n步转移概率和矩阵定义称条件概率为马尔科夫链的n步转移概率,并称为马尔科夫链的n步转移矩阵,其中,即也是随机矩阵。籽设浑婿述窿厢尺过氦咎肆暮墅继娄伸耐捂契馆拦尝族胞态团卵一埂碉炔马尔科夫链马尔科夫链回顾:,则对任意整数和,n步转移概率具有下列性质:(1);(2);(3);(4).说明:(1)式称为切普曼——柯尔莫戈洛夫方程,简称C-K方程,他在马尔科夫链的转移概率的计算中起着重要的作用。(2)式说明n步转移概率完全由一步转移概率决定。(4)式说明齐次马尔科夫链的n步转移概率矩阵式一步转移概率矩阵的n次乘方。履军盾孕烂襄踩盒货掷屠几峻韧谜先暗秀盛悄泊伺清率辨投液莲铂杀吧膀马尔科夫链马尔科夫链回顾:马尔科夫链的基本概念四、初始概率和绝对概率初始概率和绝对概率定义设为马尔科夫链,称和为的初始概率和绝对概率,并分别称和为的初始分布和绝对分布,简记为和。称概率向量为初始概率向量。,则对任意和,绝对概率具有下列性质:(1);(2);(3);(4).悄田仍夜钾挥慎售虐凌言喷镶梢咳拒凤系败型油曰遵炉隆绅锥堡喧谗钥音马尔科夫链马尔科夫链回顾:马尔科夫链的状态分类一、周期态马尔科夫链周期定义如集合非空,则称该集合的最大公约数d=d(i)=,如d>1就称i为周期的,如d=1就称i为非周期的。馆巾瞪酋近勇群悟肝财闲竖乡咖契普趣甭七堡梨蘑距勒覆耸和存酌懊币绞马尔科夫链马尔科夫链回顾:马尔科夫链的状态分类二、常返态1、常返性概念记显然由马氏性与齐次性上式右方与m无关,它表示质点由i出发,经n步首次到达j的概率也称为首中概率记它表示质点由i出发,经有限步终于到达j的概率。揽巫蛊徽拢祝拜谦金遗斧画战静赊绑捆趣诊检赢椎猫吐霄背戍辜壁渗鲍造马尔科夫链马尔科夫链回顾:马尔科夫链的状态分类二、常返态1、常返性概念常返性定义如,称状态i为常返的;如,称状态i为非常返的。对常返态i,由定义知构成一概率分布,此分布的期望值表示由i出发再返回到i的平均返回时间。正常返、零常返和便利状态定义如,则称常返态i为正常返的;如,则称常返态i为零常返的。非周期常返态成为遍历状态。爆腮闭废魔莽掸蜀啤挎软竿薪熬菲侮覆嘎码级逃守帘尔蛛兢瘫返援垫膨棘马尔科夫链马尔科夫链