1 / 20
文档名称:

运筹学课件——第4讲 马尔 可夫决策.ppt

格式:ppt   页数:20
下载后只包含 1 个 PPT 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

运筹学课件——第4讲 马尔 可夫决策.ppt

上传人:企业资源 2012/1/5 文件大小:0 KB

下载得到文件列表

运筹学课件——第4讲 马尔 可夫决策.ppt

文档介绍

文档介绍:引例:牛奶厂决策
最佳经营策略选择:
北京地区鲜牛奶由三个厂家提供,该地区客户总数为 100 万户,假定厂家每年从每个客户那里平均获利 50 元,客户资源每月都在三个厂家之间相互流动,厂家 2 考虑从以下两套候选方案之中选择一个实施:
方案一:吸引老客户,须花费 450 万元;
方案二:吸引厂家 1 和厂家 3 的客户,须花费 400 万元。
您有什么好的建议来帮助厂家 2 决策?
市场调查数据
今年一月份厂家 2 对 2000 名消费者进行了调查,购买厂家 1 , 2 , 3 产品的消费者人数分别为 800 , 600 和 600 ,得到市场占有率向量(概率向量)为( , , );
同时通过询问这 2000 名消费者下月的购买倾向,得到如下转移频数矩阵:
1
2
3
1
2
3
状态转移概率矩阵 P
从转移频数矩阵到状态转移概率矩阵 P :
用各行总数分别去除转移频数矩阵 N 的每行各元素,得到状态转移概率矩阵 P 如下:
/800
/600
/600
均衡状态的市场占有率
在目前状态转移概率矩阵 P 下,达到均衡状态时的市场占有率记为 u ;估计如果实施方案一或二以后状态转移概率矩阵分别为 P1 和 P2 ,他们各自对应的均衡状态时市场占有率分别为 u1 和 u2 ;具体数据如下:
u= ( , , )
u 1= ( , , )
u2= ( , , )
厂家 2 的方案选择
有了均衡状态时的市场占有率 u , u1 和 u2 ,厂家 2 就能够方便地进行分别方案选择,根据前面的数据,我们知道:
u= , u1= , u2= ,
因此,如果采用方案一可获利:
100 Х(- ) Х 50 – 450=500 (万元)
如果采用方案二可获利:
100 Х(- ) Х 50 – 400=450 (万元)
结论:选择方案一,即吸引老客户的方案为佳。
例:人力资源预测
某高校1990年为编制师资发展规划,需要预测为了教师队伍的结构。现在对教师状况进行如下四个分类:青年,中年,老年和流退(流失或退休)。根据历史资料以及调查分析,各类教师按照一年一期的状态转移概率矩阵如下,目前青年教师400人,中年教师360人,老年教师300人。试分析3年后教师的结构以及为保持编制不变,3年内应当多少硕士和博士毕业生充实教师队伍?
马尔可夫( Markov )链
随机过程:不确定变化的随机变量序列
时间序列:{X1 , X2 ,…, Xt, …} ,指与时间相关的离散随机变量序列
状态集合: S={S1 , S2 ,…, Sn} ,一般表示为 Xt= Si
无后效性(马尔可夫性):时间序列在 t+1 时刻(将来)的状态只与 t 时刻(现在)的状态有关而与 t 时刻之前(过去)的状态无关,即
P{ Xk+1= Sik+1/ X1=Sik1 , X2=Sik2 ,…,Xk=Sik}
=P{ Xk+1= Sik+1/Xk=Sik}
马尔可夫( Markov )链:具备无后效性的时间序列。
状态转移概率矩阵 P
状态转移概率: pij 表示从状态 Si 转移到状态 Sj 的概率,记: pij= P ( Sj/ Si ) =P ( Xk+1=Sj/Xk= Si ), 简称为从状态 i 到状态 j 的转移概率。
状态转移概率矩阵:由状态转移概率 pij ( i , j=1,2 ,…,n )构成的 n 阶方阵 P
多步状态转移概率 pij
一步状态转移概率:用 pij(1) 表示, pij(1) 即 pij ,表示从状态 Si 经过一个时刻转移到状态 Sj 的概率,记为:
pij=pij(1)=P ( Xt+1= Sj/Xt= Si ),
相应的一步状态转移概率矩阵记为 P ( 1 )= P 。
k 步状态转移概率:用 pij(k) 表示,表示从状态 Si 经过 k 个时刻转移到状态 Sj 的概率,记为:
pij(k)=P ( Xt+ k=Sj/Xt= Si ),
相应的 k 步状态转移概率矩阵记为 P ( k )。

P(k) 与 P ( 1 )之间的关系如何?
例:三品牌洗衣粉下月 购买意愿调查
求( 1 )一步状态转移概率矩阵 P ( 1 )=?
( 2 )购买 C 品牌的顾客在未来第 2 个月购买各品牌的概率?
( 3 )二步状态转移概率矩阵 P ( 2 )=?
您发现P(K)的一般规律了吗?
A B C
调查总数
A
B
C
40 30 30
60 30 60
60 30 30