文档介绍：马尔柯夫预测法
第三节马尔柯夫预测
马尔柯夫( Markov)预测法是应用概率论中马尔柯夫链的理论和方法来研究随机事件变化并借此分析预测未来变化趋势的一种方法。
马尔柯夫( Markov 俄国数学家)。
基本概念
稳态概率
实例
第三节马尔可夫决策
例6-7 我国出口某种设备,在国际市场上的销售状况有两种:畅销和滞销。畅销每年可以获利100万元,滞销时每年仅获利30万元。以一年为一个时期,如果不采用广告推广产品或采取广告措施,状态的转移矩阵分别为如表6-5、表6-6所示。
案例引入:实例2: P198
第三节马尔可夫决策
假定上一年处于畅销状态,每年的广告费为15万元。为了保证今后3年的利润最大化,是否应该采用广告措施?
畅销
滞销
畅销
滞销
畅销
滞销
畅销
滞销
表6-3 不采取广告措施
表6-4采取广告措施
案例引入:例6-5P194
某企业为使技术人员具有多方面经验,实行技术人员在技术部门,生产部门和销售部门的轮换工作制度。轮换办法采取随机形式,每半年轮换一次,初始状态,即技术人员开始是在某部门工作概率用表示,j=1,2,;pij表示处于第i个部门的技术人员在半年后(一步)转移到第j个部门的概率。已知
状态转移概率
如果某人开始在工程技术部门工作(部门1),则经过2次转移后它在生产部门工作(部门2)的概率是多少?
一、基本概念
20世纪初,马尔科夫在研究中发现自然界中有一类事物的变化过程仅与事物的近期状况有关,而与事物的过去状态无关。
例:设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济行为都可用这一类过程来描述或近似。所谓马尔柯夫链,就是一种随机时间序列,它在将来取什么值只与它现在的取值有关,而与它过去取什么值无关,即无后效性。具备这个性质的离散型随机过程,称为马尔柯夫链。
一、基本概念
一、马尔可夫链
经济问题采取的行动已经确定,但将这个行动付诸实践的过程又分为几个时期。在不同的时期,系统可以处在不同的状态,而这些状态发生的概率又可受前面时期实际所处状态的影响。
其中一种最简单、最基本的情形,是每一时期状态参数的概率分布只与这一时期的前一时期实际所处的状态有关,而与更早的状态无关,这就是所谓的马尔可夫链。利用马氏过程分析系统当前状态并预测未来状态的决策方法,称为马尔可夫决策。
第三节马尔可夫决策
一、基本概念
经济学中把这种现象称为“无后效性”,即“系统在每一时刻的状态仅仅取决于前一时刻的状态”。
例如,池塘里有三张荷叶,编号为1,2,3,假设有个青蛙在荷叶上随机地跳来跳去,在初始时刻 t0,它在第二张荷叶上。在时刻t1,