文档介绍：第五章马尔可夫预测与决策第五章马尔可夫预测与决策?基本概念–马尔可夫链–状态转移矩阵(转移概率矩阵)–平稳分布和稳态分布?马尔可夫预测与决策应用实例–流行病监测–设备维修决策–**基因遗传马尔可夫预测马尔可夫预测?马尔可夫( Markov)预测法是应用概率论中马尔可夫链的理论和方法来研究随机事件变化并借此分析预测未来变化趋势的一种方法。?随机过程是研究随机动态系统演变过程规律性的学科,它的研究对象是随时间演变的随机现象;广泛地应用于通信、控制、生物、地质、经济、管理、能源、气象等许多领域;??马氏链模型马氏链模型(Markov Chain Model)是时间、状态均为离散的随机过程。一、基本概念一、基本概念?马尔可夫( Markov 俄国数学家)。?20世纪初,他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状况有关,而与事物的过去状态无关。例:未来第t 个交易日上证指数的涨跌情况,醉汉在酒醒之前的运动,青蛙在荷塘中下一步跳向哪片荷叶……?所谓马尔可夫链,就是一种随机时间序列,它在将来取什么值只与它现在的取值有关,而与它过去取什么值无关,即无后效性。具备这个性质的离散型随机过程,称为马尔可夫链。1. 马氏链严格数学定义马氏链模型说明:?时间、状态均为离散的随机转移过程系统在每个时期所处的状态是随机的从一时期到下时期的状态按一定概率转移下时期状态只取决于本时期状态和转移概率已知现在,将来与过去无关(无后效性)概念:状态??2、状态与状态变量?状态:客观事物可能出现或存在的状况。如:商品可能畅销也可能滞销;机器运转可能正常也可能故障等。?同一事物不同状态之间必须相互独立:不能同时存在两种状态。?客观事物的状态不是固定不变的,它可能处于这种状态,也可能处于那种状态,往往条件变化,状态也会发生变化。如某种产品在市场上本来是滞销的,但是由于销售渠道变化了,或者消费心理发生了变化等,它便可能变为畅销产品。用状态变量来表示状态:它表示随机运动系统,在时刻所处的状态为?状态转移:客观事物由一种状态到另一种状态的变化。 如:由于产品质量或替代产品的变化,市场上产品可能由畅销变为滞销。?????????????????,2,1,,2,1tNiiXt),2,1(??tt),2,1(Nii??3、状态转移概率?客观事物可能有共种状态,其中每次只能处于一种状态,则每一状态都具有个转向(包括转向自身),即。?由于状态转移是随机的,因此,必须用概率来描述状态转移可能性的大小,将这种转移的可能性用概率描述,就是状态转移概率。-------------NEEE,,,21?nn1 2, , ,i i i NE E E E E E? ?????概率论中的条件概率:P(A?B)就表达了由状态B 向状态A 转移的概率,简称为状态转移概率。对于由状态Ei 转移到状态Ej 的概率,称它为从i到j的转移概率。记为:它表示由状态Ei 经过一步转移到状态Ej 的概率。)()()(1ixjxPEEPEEPPnnjiijij???????某地区有甲、乙、丙三家药厂生产板蓝根,有1600个用户,假定在研究期间无新用户加入也无老用户退出,只有用户的转移。已知8月份有480 户是甲厂的顾客;320 户是乙厂的顾客;800 户是丙厂的顾客。9 月份,甲厂的顾客有48 户转乙厂,96户转丙厂;乙厂的顾客有32户转甲厂,64户转丙厂;丙厂有的顾客有64户转甲厂,32户转乙厂。计算其状态转移概率。例:例:11 12 1321 22 2331 32 33336 48 96= = = = = = 480 48032 224 64= = = = = = 320 32064 32 704= = = = = = 800 800P P PP P PP P P解:由题意得6 月份顾客转移表:甲乙丙合计甲3364896480乙3222464320丙6432704800合计4303602101600从到例:例: