文档介绍：概述
一、动态规划的提出
动态规划是1951年由美国学者R. Bellman等人在解决所谓多阶段决策问题时提出的一种优化方法,从此,动态规划成为运筹学的一个重要分支。该方法在进行多阶段决策时,先将问题变换成一系列相互联系的单阶段问题,当解决了这一系列单阶段问题之后,在“最优性原理”的基础上,就可以解决整个多阶段决策问题。
二、动态规划的有效性
DP在工程技术、企业管理和军事等方面多有着广泛的应用。
企业管理方面的最短路问题、生产与库存问题、资源分配问题、排序问题、设备更新问题等;
工程技术方面的水库优化调度问题、电力系统经济调度问题等。
许多问题用动态规划方法解决,比其他常用方法如线性规划或非线性规划等方法更为有效。特别是对于离散的问题,由于目标函数或约束条件难以用解析的方式表达时,此时,动态规划方法就成为非常有效的工具。
三、动态规划的分类
动态规划模型的分类一般根据其状态的性质或多少来分类。而状态有离散的和连续的、有确定的和随机的、有一维的和多维的。
离散确定型
离散随机型
连续确定型
连续随机型
一维动态规划模型
多维动态规划模型
一、多阶段决策过程
在生产决策中,若某一活动过程可以分为若干相互联系的阶段,每一阶段又需要作出决策,从而使整个过程达到最好的活动效果。
这种把一个问题看作是一个前后关联具有链状结构的多阶段过程就称为多阶段决策过程,这种问题就称为多阶段决策问题。
第一节多阶段决策过程及其问题举例
二、多阶段决策问题举例
最短路问题
如图5—2,给定一个线路网络,两点之间连线上的数字表示两点间的距离(或费用、时间等),试求一条由A到E的线路,使总距离为最短(或费用最小、时间最少等)。
B1
A
C1
B2
C3
E
D1
C4
C2
D3
D2
3
5
3
1
6
8
6
6
7
3
5
8
3
3
8
4
2
3
2
图5—2
生产与存储问题
假设某厂某车间每月底都要供应总装车间一定数量的部件,但由于生产条件的变化,该车间每月生产单位部件所耗费的工时不同,各月份的生产量于当月的月底以前,全部要存入仓库以备后用。已知总装车间各个月份的需求量以及在加工车间生产该部件每单位数量所需工时如表5—1所示
设库存容量H=9,开始时库存量为2,期终库存量为0,现要求制定一个半年逐月生产计划,使得既满足需求和库存容量的限制,又使总耗费的工时最少。
月份 k
0
1
2
3
4
5
6
月需求量 dk
0
8
5
3
2
7
4
单位工时 ak
11
18
13
17
20
10
一、动态规划的基本概念
(1)阶段
对于多阶段决策问题,按问题的特点可将其划分为若干个相互联系的阶段,阶段就是问题所处的地段或时段。描述阶段的变量称为阶段变量,通常用k表示。,阶段为问题所处的地段,且k=1,2,3,4;,阶段为问题所处的时段(月),且k=0,1,…,6;
第二节动态规划的基本概念与基本方程
(2)状态
状态就是在各阶段开始时问题的自然状况
描述过程状态的变量称为状态变量。通常用Sk表示第k阶段的状态集合,用sk表示第k阶段的某一具体的状态。结合例1、例2说明
动态规划状态必须满足两个条件:
①能描述问题的过程
②满足无后效性
所谓无后效性是指如果某阶段的状态给定以后,则在这阶段以后过程的发展不受这阶段以前各状态的影响,即过程的过去历史只能通过当前的状态去影响它的未来的发展,当前的状态是以往历史的一个总结。
(3)决策
决策表示当过程处于某一阶段的某一状态时,为确定下一阶段的某一状态所作出的决定或者选择
描述决策的变量称为决策变量。通常用uk(sk)表示第k阶段在状态为sk时所作出的决策,用Dk(sk)表示第k阶段在状态为sk处所有可行决策构成的决策集合,显然有uk(sk)∈Dk(sk);举例
(4)状态转移方程
描述相邻两阶段状态与决策相互关系的方程称为状态转移方程。状态转移方程的一般形式可描述为sk+1=Tk(sk,uk),Tk称为状态转移函数;举例
(5)策略
对于n阶段决策问题,从初始状态出发到终段状态的全过程中,每阶段的决策uk(sk)(k = 1,2,…,n)所构成的决策序列就称为一个整体策略,简称策略。记为:
p1,n(s1)= {u1(s1),u2(s2),…,un(sn)}
另外,称下式所描述的为后部k段子策略
pk,n(sk)={uk(sk),uk+1(sk+1),…,un(sn)}
称下式所描述的为前部k段子策略
p1,k(s1)= {u1(s1),u1(s1),…,uk(sk)}
在实际问题中,可供选择的策略有一定的范围,