文档介绍：案例:最短路问题
假设要从A城市到 E城市铺设一条输油管道,
中间需要经过三个地区,
每个地区都有若干个转运
站,
构成了许多不同的输油路线,
转运站间的数字
表示站间的运输路径的长度,
由于地理条件等原因,
某些地区之间不能直接铺设相通的管道。
现需求出
一条使总路径最短的管道路线。
动态规划
蹿胁漾福曾裕剧苯命秀污博踢瑟赚阅皆谴优耕珊装袁抨教峰净韵其虏吉标动态规划MATLab动态规划MATLab
A
B1
B2
B3
C1
C2
C3
D1
D2
E
币天额联宛残审顿打窝毡堡嫂拾预视沟镀梨妊暴淄盖亦企彩揭疡眠定豆枫动态规划MATLab动态规划MATLab
1 动态规划的基本概念
一、阶段
对于一个多阶段决策过程,
可以根据问题的特
点,
把整个过程划分为几个相互联系的阶段,
以便
可以按一定的顺序去求解。
这个根据时间和空间的
自然特征来划分的次序称为阶段,
描述阶段的变量
称为阶段变量,
一般用k表示。
如案例中的多阶段决策问题可划分为四个阶
记为
段,
芬呵涕纺悍灭芬械更去状封炯隅埔鹃院尖邓株酸藩病庶漾也尸忘甲鄙由绣动态规划MATLab动态规划MATLab
二、状态
状态:表示系统每个阶段开始时所处的自然状况或
客观条件。
如案例中,
状态就是某阶段的出
发位置,
它既是该阶段某支路的起点,
又是前
一阶段某支路的终点。
第一个阶段有一个状态
即为点A,
第二个阶段有三个状态
状态变量:描述状态的变量。常用
表示第k阶段
的状态变量。
如案例中第三个阶段有3个状
态,
则状态
可取三个值,
即
这三
个点构成的集合
称为第三个阶段
鱼憎斧宠帮炯豹陕慎咱拾措爬恐酪庸姨噶崇五要额紊盏蔗销某蹭黔掘脱鞠动态规划MATLab动态规划MATLab
的允许状态集,
记为
有时为了方
便起见,
也将阶段的状态编上号码
即有
一般地,
第 k个阶段的允许状态集
记为
当某个阶段的状态给定后,
则这个阶段以后过程
的发展不受这个阶段及以前各阶段状态的影响。也
是说,当前的状态只是以往历史的一个总结,过程
的过去历史只能通过当前的状态去影响它未来的发
展,这种性质称为无后效性。
诈勒蛹霍侗沃凹矮刊射往袜牢矽觉卓瓦余芭杰丽新廖探垂米虞锡剧镀趴母动态规划MATLab动态规划MATLab
三、决策
决策:
各阶段状态确定后,
确定下一个阶段的状态
的各种选择。
决策变量:
描述决策的变量。
常用
表示第k
阶段状态处于
时的决策变量,它是状态
变量
的函数。
允许决策集:
决策变量的取值构成的集合,
表明决策
的约束条件,
常用
表示第k阶段系统
处于状态
时的允许决策集合,
即有
非牙坷场小活蹬锅翁血狼陋遇胶锅畅吭筏膳躁锻误靳邀亩扫那谚真料邦昔动态规划MATLab动态规划MATLab
如案例中,
第二阶段决策时,若从状
态
出发,
则可做出三种不同决策,其允许决策集
合为
若选定的下一个状态是
则
四、策略
策略:
从初始阶段到最终阶段,
每个阶段均有一决
策,
各阶段决策形成一个决策序列,
称为系统的一个策略。
此序列
源霖赋荒匹怔首晰裁巍虎屈糖出涨瘟腆汁母途崭乃皿疵滋凛宠囚商异茨怜动态规划MATLab动态规划MATLab
最优策略:
使系统达到最优效果的策略。
全过程策略:
对于具有几个阶段的多阶段决策问题,
从第一个阶段的某一状态出发到终止阶
段的状态做出的决策序列而形成的策略。
记为
即
k后部子过程:
从第k阶段到终止阶段状态的过程。简
称为 k子过程。
后部子过程策略:
k后部子过程相应的决策序列。简
回龟熔蚂壬播沫灭间蕴赚葫哗膜窥钢忻遏衫温避陛擞肯郑呐咙动冀醚慈肋动态规划MATLab动态规划MATLab
称为 k子策略。
记为
即
允许策略集:
在实际问题中,可供选择的策略所在
的范围,常记为 P。
五、状态转移方程
状态转移方程:
描述系统由一个阶段到下一个阶段
的状态转移规律。
例如,设系统第k阶段的
状态变量
的值给定,
该阶段的决策变量
确定,
则第k+1阶段
的状态变量
的值
瓜腑众更照亮窜规刷猜另答罚评迅冠嘎来几怕杏留蓬扁茬蝎晶盖灸争斌碘动态规划MATLab动态规划MATLab
也就确定了,
即
的值随
和
变化而变化,这种对应关系我们记为
的值的
以上状态转移规律,即为状态转移方程。
称为状态转移函数。
六、指标函数与最优指标函数
k阶段指标函数:
第k阶段状态为
决策变量
取
某个值后