文档介绍：动态数规划
第1页，共74页，2022年，5月20日，15点11分，星期一
多阶段决策过程的最优化
多阶段决策过程：
整个决策过程可按时间或空间顺序分解成若干相互联系的阶段，每一阶段都需作出决策，全部过程的决策是。
②“维数障碍”：当变量个数太多时，由于计算机内存和速度的限制导致问题无法解决。有些问题由于涉及的函数没有理想的性质使问题只能用动态规划描述，而不能用动态规划方法求解。
*
*
第10页，共74页，2022年，5月20日，15点11分，星期一
应特别指出的是，动态规划是解决某一类问题的一种方法，是分析问题的一种途径，而不是一种特殊算法(如线性规划是一种算法)。因而，它不象线性规划那样有一个标准的数学表达式和明确定义的一组规则，而必须对具体问题进行具体分析处理。因此，在学****动态规划时，除了对基本概念和方法正确地理解外，应以丰富的想象力去建立模型，用创造性的技巧去求解。正如贝尔曼本人所说：“由于动态规划的最优化原理仅仅是一种基本原理，正是它的某种不确定性为你提供了发挥你创造性思维的巨大空间 !
*
*
第11页，共74页，2022年，5月20日，15点11分，星期一
动态规划原理
阶段(stage)
处理多阶段决策，需将全过程划为若干阶段，每个阶段进行一次抉择。
各阶段按一定顺序联接在一起组成统一的整体。
用k表示阶段变量。
阶段编号
顺序编号
逆序编号
一、动态规划的基本概念
*
*
第12页，共74页，2022年，5月20日，15点11分，星期一
状态(state)
状态表示过程发展中某阶段的起始状况。
过程的发展可以通过各阶段状态的演变来描述。
状态可用一个变量来描述，称为状态变量，用Sk表示。
选取的状态变量必须满足无后效性。
某阶段的状态给定后，则过程未来发展不受该阶段以前各阶段状态的影响。
第 k 阶段可能有若干状态，用Sk 表示阶段k的状态集合，
sk(i)表示第k阶段的第 i 个状态。
*
*
第13页，共74页，2022年，5月20日，15点11分，星期一
决策(decision)
从上一阶段某状态演变到下一阶段某状态要作一次选择，称为决策。
用变量xk(sk)表示第k阶段状态为sk时的决策，称为决策变量，简记xk
决策变量的取值被限制在某一范围内，此范围称为允许决策集合Xk(sk)
策略(policy)
多阶段决策过程中，每一阶段均有一个决策，依序组合成一个全过程的决策序列，称为全过程策略。
p1,n(s1)={x1(s1),x2(s2) ,…, xn(sn)} ，
简记p1,n ={x1, x2,…, xn}
*
*
第14页，共74页，2022年，5月20日，15点11分，星期一
从过程的某个阶段开始到最终阶段结束称为后部子过程。从第k阶段开始的后部子策略称为第k子过程策略。
pk,n(sk)={xk(sk), xk+1(sk+1) ,…, xn(sn)}
简记 pk,n ={xk, xk+1,…, xn}
每一阶段有若干状态,每个状态又有若干个不同的决策,即有许多策略可供选择。全体策略构成允许策略集合Pk,n(sk)。
能使预期目标达到最优效果的策略称为最优策略P*k,n ，
构成最优策略的各决策称为相应阶段的最优决策x*k。
*
*
第15页，共74页，2022年，5月20日，15点11分，星期一
状态转移方程
下一阶段状态sk+1 是本阶段状态变量sk 和决策变量xk的函数，即 sk+1 =T(sk, xk(sk)) =T(sk, xk)
从状态sk出发到下一阶段状态sk+1的转移规律称为状态转移方程。
指标函数
用来衡量每一阶段决策效果的优劣的数量指标，称为阶段指标函数vk ，阶段指标是状态变量和相应决策变量的函数，即vk = vk(sk , xk )。
最短问题是运费或路程。对阶段的不同状态，采取不同的决策，运费不同。
指标函数也可以是利润、成本、产量等。
*
*
第16页，共74页，2022年，5月20日，15点11分，星期一
从第k阶段的状态sk出发到最后阶段结束，各阶段绩效综合起来反映这个后部子过程的绩效，称为过程指标函数，记为Vk,n。
Vk,n的大小取决于从第k阶段到最后阶段所采取的子策略。即
Vk,n = Vk,n (sk , xk , sk+1 , xk+1 ,…, sn)
根据实际问题的性质，指标函数Vk,n 为各个阶段指标的和或积。
从状态sk出发，选取最优策略所得的指标函数值称为最优指标函数值。
fk(s