文档介绍：马氏决策规划简介
马尔可夫过程
马尔可夫过程是一类特殊的随机过程,它因伟大的俄国数学家马尔可夫而得名。这种过程的特点是存在着确定的转移概率,与系统先前的历史无关,有一个很形象的比喻来形容这个过程:池塘里的青蛙在荷叶上跳来跳去,如果将它在某一时刻所在的荷叶称为状态,则青蛙未来处于什么状态只有它现在所在的状态有关,与它以前所处的状态无关。这种性质就是所谓的“一阶Markov性”或“无后效性”
★
★
★
★
★
一:基本概念
假定系统有n个可能的状态,处于这些状态的概率分别为 p1,p2…pi ,…pn,例如,有1000名顾客在每周只到A和B购物,设定时间阶段为一周,在某一周,有900名顾客到A购物,我们称为状态1,有100名顾客到B,成为状态2,因此,系统的两个状态和概率分别为
状态1:顾客到A购物,
状态2:顾客到B购物,
假定市场调查数据显示,在随后的一周内,上周去A购物的顾客有90%仍然在A购物,有10%的顾客则流向了B,去B购物的顾客有80%继续在B购物,而20%则流向了A,这些状态转移概率可用如下矩阵表示
该矩阵成为超市的一步转移矩阵。
对于k步(周期)的, 表示在给定
周期内处于状态i 的系统在经过k步后转移到状态j的概率,p(k) 表示系统的k步转移
概率矩阵,则有
状态转移概率矩阵描述了研究对象的变化过程,它有如下特征:
如果对于每个i和j, 均成立的话
则称一步转移概率是平稳的,也就是说,从状态i转移到状态j的概率与现在的步数无关,这说明在研究的时间范围内,一步平稳转移概率保持为常数。系统的转移概率矩阵表示为
二马尔可夫过程的预测
三:赋值马氏过程
有一个工厂为市场生产某种产品,每月月初对产品产品的销售情况进行了一次检查,其结果有二:销路好(记为状态1),也可能销路差(状态2)。若处于状态1,由于各种随机因素的干扰,,;若处于状态2,,。则他的状态转移过程为
若在上面所述的马氏过程中,当它在任意时刻从状态i 转移到状态j时可以获得相应的收益记为,
这种马氏过程随着状态转移可得到一系列的报酬(效益),我们称其为赋值马氏过程,称R= 为报酬矩阵。
上述工厂若某月初销路好,下月初仍销路好可获利9千元,下月初转为销路差可获利3千元,若某月初销路差,下月初转为销路好课获利3千元,下月初仍为销路差要亏本7千元。
则报酬矩阵为
下面考虑系统经过一定阶段的运行后的总期望报酬。记q(i)为状态i 做出一次转移的期望报酬,则有
称
为一次转移的期望报酬向量。
记为系统由状态i经过n次转移之后的总期望报酬,则有