文档介绍：马氏决策规划简介-资料
马尔可夫过程
马尔可夫过程是一类特殊的随机过程，它因伟大的俄国数学家马尔可夫而得名。这种过程的特点是存在着确定的转移概率，与系统先前的历史无关，有一个很形象的比喻来形容这个过程：池塘里的青蛙在荷叶上跳来跳去，
马氏决策规划简介-资料
马尔可夫过程
马尔可夫过程是一类特殊的随机过程，它因伟大的俄国数学家马尔可夫而得名。这种过程的特点是存在着确定的转移概率，与系统先前的历史无关，有一个很形象的比喻来形容这个过程：池塘里的青蛙在荷叶上跳来跳去，如果将它在某一时刻所在的荷叶称为状态，则青蛙未来处于什么状态只有它现在所在的状态有关，与它以前所处的状态无关。这种性质就是所谓的“一阶Markov性”或“无后效性”
★
★
★
★
★
一：基本概念
假定系统有n个可能的状态，处于这些状态的概率分别为 p1,p2…pi ,…pn，例如，有1000名顾客在每周只到A和B购物，设定时间阶段为一周，在某一周，有900名顾客到A购物，我们称为状态1，有100名顾客到B，成为状态2，因此，系统的两个状态和概率分别为
状态1：顾客到A购物，
状态2：顾客到B购物，
假定市场调查数据显示，在随后的一周内，上周去A购物的顾客有90％仍然在A购物，有10％的顾客则流向了B，去B购物的顾客有80％继续在B购物，而20％则流向了A，这些状态转移概率可用如下矩阵表示
该矩阵成为超市的一步转移矩阵。
对于k步（周期）的， 表示在给定
周期内处于状态i 的系统在经过k步后转移到状态j的概率，p(k) 表示系统的k步转移
概率矩阵，则有
状态转移概率矩阵描述了研究对象的变化过程，它有如下特征：
如果对于每个i和j， 均成立的话
则称一步转移概率是平稳的，也就是说，从状态i转移到状态j的概率与现在的步数无关，这说明在研究的时间范围内，一步平稳转移概率保持为常数。系统的转移概率矩阵表示为
二 马尔可夫过程的预测
三：赋值马氏过程
有一个工厂为市场生产某种产品，每月月初对产品产品的销售情况进行了一次检查，其结果有二：销路好（记为状态1），也可能销路差（状态2）。若处于状态1，由于各种随机因素的干扰，，；若处于状态2，，。则他的状态转移过程为
若在上面所述的马氏过程中，当它在任意时刻从状态i 转移到状态j时可以获得相应的收益记为 ,
这种马氏过程随着状态转移可得到一系列的报酬（效益），我们称其为赋值马氏过程，称R= 为报酬矩阵。
上述工厂若某月初销路好，下月初仍销路好可获利9千元，下月初转为销路差可获利3千元，若某月初销路差，下月初转为销路好课获利3千元，下月初仍为销路差要亏本7千元。
则报酬矩阵为
用n表示系统的阶段数。 表示系统当前处于状态i，下一步以d种决策方式转移到状态j的概率。
表示系统初始状态为i，采取最优策略时的期望报酬最大值。则有如下方程：
由于
因而
为第n阶段处于i状态时的决策。
这表明，该厂不论处于状态1还是2，如果再继续生产1个月，都应采取决策1，即不论销路好还是销路差都不登广告。
如果继续生产两个月：
这表明，如果继续生产两个月，第1个月不登广告，第2个月等广告。
同样可以计算出经3步，4步，……转移时的结果， 将结果列入表中，利用上述的值迭代法，可以算出系统当前处于状态i，经任意n步转移应采取怎样的最优策略以及所获得的总报酬期望值。
n（经营时间/月）
1
2
3
4
…
（目前销路好，n月后停业的最大总期望报酬）
6
…
（目前销路好，若n月后停业应采取的最优决策）
1
2
2
2
…
（目前销路差，n月后停业的最大总期望报酬）
-3
-
…
（目前销路差，若n月后停业应采取的最优决策）
1
2
2
2
…
感谢您的关注