文档介绍：第6章动态规划
动态规划是贝尔曼(Bellman)在50年代作为段(步)决策过程研究出来的,现已在许多技术领域中获得广泛应用。动态规划是一种分段最优化方法,它既可以用来求解约束条件下的函数极值问题,也可以用来求解约束条件下的泛函极值问题。它与极小值原理一样,是处理控制矢量被限制在一定的闭集内,求解最优控制问题的有效数学方法之一。
敞承撮度鸯进获申哭旗稿钩阅坊圭虞淑帜爱泡藕师栈铸垄篓瓦狭氧晴囚珐动态规划动态规划
多级决策问题
动态规划是解决多段决策问题的有力工具。
多级决策过程:把一个过程分成若干阶段,每个阶段都作出决策,以使整个过程取得最优效果。
最短路线问题是多级决策问题的一个典型例子。
动态规划的核心是最优性原理,它首先将一个多段决策问题转化为一系列单段决策问题,然后从最后一段状态开始逆向递推到初始状态为止的一套求解最优策略的完整方法。
蔗阂痈戏傣胡脖狠莱械浑轧鬃弄齐厕持蹈吧炒沟诸款晦生脚阐檄魏苹锑死动态规划动态规划
3
9
1
4
1
3
5
4
6
2
5
4
8
5
4
4
4
5
1
7
2
6
7
9
5
2
图6-1 最短路线问题
最短路线问题
设由至的路线如上图所示。要求选择一条路程最短的线路。各地间的距离已标注在图中。由到
,需要选择一条路线,使之间路程短,
称为一级决策过程;
亿倚雹升蹿专血券襟沦逻乾巍面禹谜袍株株熔悸皇奏秽势疹辅硬辩庭鹏臣动态规划动态规划
为确定之间最短路线,可采用穷举法与动态规划法。
再从到选择一条路线,使之间路程最短,称为二级决策;
从选择一条路线,使之间路程最短,称为三级决策过程;以此类推,上图共有从到五级决策过程。
3
9
1
4
1
3
5
4
6
2
5
4
8
5
4
4
4
5
1
7
2
6
7
9
5
2
慈拼淀冈吼华慨单天参亦舅烷纬敝采湖街定硼菲坡详畜揉芥汹浪搏侣病勉动态规划动态规划
穷举法是列出所有可能的路线,计算各路线的路程,通过对比后得到最短路线。本例共有38条可能路线,。由图可知,决定每条路线的长度需作4次加法,故共需叫法152次,比较37次。最后得最短路线为, 最短距离。
动态规划法是一种逆序计算法,从末端开始,到始端为止,逆向递推。设为多级决策过程的级数; 表示在任一级所处的位置,称为状态变量; 为决策变量,表示当状态以后还有级时,所选取的下一点; 表示由状态到终点的级过程的最短距离。表示点到的距离。对于图6-1问题,从最后一级开始计算。
务雅兄盂憾惶逮墅煮敲估容企磨炔喜择蛆杖播箱仑禁涧滦坎拉檬钩轩拆皑动态规划动态规划
3
9
1
4
1
3
5
4
6
2
5
4
8
5
4
4
4
5
1
7
2
6
7
9
5
2
(1)
将至的距离数字标注于图6-3中,数字括号内的文字表示相应的决策变量。由于从到以及从到都只有一种可能,所以本级无决策问题。
①
②
联乒冷罢杏切窑稼派谦腺伍慨替痊柞膛刀咖舒蔑倔劈浅映寇刽火疥庸盎轴动态规划动态规划
(2)
本级决策有三种选择。每种选择中又有两条可能的路线。例如,从出发,可达,也可达,所以
3
9
1
4
1
3
5
4
6
2
5
4
8
5
4
4
4
5
1
7
2
6
7
9
5
2
①
②
④
至的最短距离为4,路线为。
栖贤莹竿务塞辊蛊菩移吐田唇在非痛俞荐藩检昨夷嚎壬莆诵琳殖怔矩焚宦动态规划动态规划
3
9
1
4
1
3
5
4
6
2
5
4
8
5
4
4
4
5
1
7
2
6
7
9
5
2
①
②
④
⑦
⑦
同理至最短距离为7,路线为,决策变量为
同理至最短距离为7,路线为,决策变量为
登吃凭柑伐理每脐送层潭峡态锥弯饶尚厚恭曳欢寄弹腾控鱼谱肾***咽禁屯动态规划动态规划
3
9
1
4
1
3
5
4
6
2
5
4
8
5
4
4
4
5
1
7
2
6
7
9
5
2
①
②
④
⑦
⑦
(3)
⑤
⑾
⑧
(4)
⒁
⑨
⑿
(5)
⒁
最后确定最短路线为
最短距离
这一方法只用加法24次,比较14次,计算量比穷举法大为减少。
坤洱层欺软廖云分缆耶痒学伊柑骨泳妙肢揍培焙虫弹椎枪饼簇尚釜翠茅砍动态规划动态规划
对于本例,求解时采用的递推方程的一般形式为
以及
6-1
6-2
多段决策过程的最优策略具有性质:
不论初始状态