文档介绍：第七章动态规划
(Dynamic programming)
动态规划的基本概念、基本思想
动态规划模型的建立和求解
动态规划的应用:背包问题;生产经营问题;设备更新问题;复合系统工作可靠性问题
11/12/2017
运筹学
第一节动态规划
动态规划(Dynamic Programming)是用来解决多阶段决策过程最优化的一种数量方法。其特点在于,它可以把一个n 维决策问题变换为几个一维最优化问题,从而一个一个地去解决。
需指出:动态规划是求解某类问题的一种方法,是考察问题的一种途径,而不是一种算法。必须对具体问题进行具体分析,运用动态规划的原理和方法,建立相应的模型,然后再用动态规划方法去求解。
11/12/2017
运筹学
一、多阶段决策问题的典型例子:
1 . 生产决策问题:企业在生产过程中,由于需求是随时间变化的,因此企业为了获得全年的最佳生产效益,就要在整个生产过程中逐月或逐季度地根据库存和需求决定生产计划。
2. 机器负荷分配问题:某种机器可以在高低两种不同的负荷下进行生产。在高负荷下进行生产时,产品的年产量g和投入生产的机器数量u1的关系为
g=g(u1)
1
2
n

状态
决策
状态
决策
状态
状态
决策
11/12/2017
运筹学
这时,机器的年完好率为a,即如果年初完好机器的数量为u,到年终完好的机器就为au, 0<a<1。
在低负荷下生产时,产品的年产量h和投入生产的机器数量u2的关系为
h=h(u2)
假定开始生产时完好的机器数量为s1。要求制定一个五年计划,在每年开始时,决定如何重新分配完好的机器在两种不同的负荷下生产的数量,使在五年内产品的总产量达到最高。
相应的机器年完好率b, 0< b<1。
11/12/2017
运筹学
3. 航天飞机飞行控制问题:由于航天飞机的运动的环境是不断变化的,因此就要根据航天飞机飞行在不同环境中的情况,不断地决定航天飞机的飞行方向和速度(状态),使之能最省燃料和实现目的(如软着落问题)。
不包含时间因素的静态决策问题(本质上是一次决策问题)也可以适当地引入阶段的概念,作为多阶段的决策问题用动态规划方法来解决。
4 . 线性规划、非线性规划等静态的规划问题也可以通过适当地引入阶段的概念,应用动态规划方法加以解决。
11/12/2017
运筹学
5 . 最短路问题:给定一个交通网络图如下,其中两点之间的数字表示距离(或花费),试求从A点到G点的最短距离(总费用最小)。
1
2
3
4
5
6
A
B1
B2
C1
C2
C3
C4
D1
D2
D3
E1
E2
E3
F1
F2
G
5
3
1
3
6
8
7
6
3
6
8
5
3
3
8
4
2
2
2
1
3
3
3
5
2
5
6
6
4
3
11/12/2017
运筹学
二、解题思路
三、应用范围
1、动态
2、静态
四、缺点
1、建模后,没有统一的方法
2、维数障碍
11/12/2017
运筹学
一、基本概念
1、阶段:
把一个问题的过程,恰当地分为若干个相互联系的阶段,以便于按一定的次序去求解。
描述阶段的变量称为阶段变量,用k表示。阶段的划分,一般是根据时间和空间的自然特征来进行的,但要便于问题转化为多阶段决策。
2、状态:表示每个阶段开始所处的自然状况或客观条件。通常一个阶段有若干个状态,描述过程状态的变量称为状态变量,用Sk表示。
年、月、路段
一个数、一组数、一个向量
状态变量的取值有一定的允许集合或范围,此集合称为状态允许集合。
第二节动态规划的基本概念
11/12/2017
运筹学
3、决策:表示当过程处于某一阶段的某个状态时,可以作出不同的决定,从而确定下一阶段的状态,这种决定称为决策。
描述决策的变量,称为决策变量,用Uk(Sk )。决策变量是状态变量的函数。可用一个数、一组数或一向量(多维情形)来描述。
在实际问题中决策变量的取值往往在某一范围之内,此范围称为允许决策集合,用Dk(Sk )表示。
4、状态转移方程
状态转移方程是确定过程由一个状态到另一个状态的演变过程。如果第k阶段状态变量sk的值、该阶段的决策变量一经确定,第k+1阶段状态变量sk+1的值也就确定。
11/12/2017
运筹学
图示如下:
1
2
k

s1
u1
s2
u2
s3
sk
uk
sk+1
能用动态规划方法求解的多阶段决策过程是一类特殊的多阶段决策过程,即具有无后效性的多阶段决策过程。
11/12/2017
运筹学