文档介绍：随机动态规划及其应用
丁万刚
(太原理工大学理学院,山西太原 030024)
摘要:讨论了连续时间随机动态规划原理,得出了具有随机利率的最优投资组合,并用动态
规划原理得到具有随机插入时间物流遍历控制问题的变分不等式。
关键词:随机控制;动态规划;变分不等式;投资组合
中图分类号:O21116
文献标识码:A
随机最优控制已广泛应用于管理、金融等领域,
其研究主要基于贝尔曼动态规划原理。R. E. Bell2 man 在其著作1 中把动态规划原理表述如下: 一个最优策略具有这样的性质,不管初始状态或策略如何,相对于初始策略产生的状态来说,其后的策略必须构成最优策略。概括为,每个最优策略只能由最优子策略组成。由此通常得到 Bellman 动态规划方程,而这个方程在很多情形下不可解。一般地需要借助以下两种方法。
1) 解变分不等式方法。由 A. Bensoussan and J . L . Lions 提出,通常是求一个控制区间,再给出相应的最优控制策略。它常用于一维问题,侧重于随机分析。
2) 粘性解方法。由 M. G. Crandall and P. L . Lions 在研究随机控制问题时提出,其方法不只对随机控制的研究起到推动作用,也对微分方程的研究起到巨大的推动作用。这种方法侧重于方程,也适用于
多维问题,在金融数学的研究中常常用到。
求最优控制 u 使 J ( x) = minJ ( x , u) . 现令
u ∈U
T
J ( x , u , s) = E∫e
- α( T - s)
h ( xt , ut ) d t +
s
e - α( T - s) G ( x
, T) .
T
式中, xs = x . 则由贝尔曼动态规划原理 J ( x , s )
minJ ( x , u , s) 满足带有边值条件的微分方程:
u ∈U
=
5 J ( x , s)
+
5 s
min[ A uJ ( x , s) + h ( x , u) ] - αJ ( x , s) = 0 ,
u ∈U
J ( x T , T) =
G ( x T , T) .
n
5
A u
= ∑f x , u
其中,
i (
)
+
5 xi
52
i = 1
n
1
2 i ∑
1
(σσ′) ij ( x , u)
5 xi 5 xj
, j =
为扩散过程的最小生成元。
112
状态无奇异项且最后时间为不定的情形
概率空间及状态过程同上述情形。目标费用为
T
u ∈U ∫0
J ( T , x) = min E L ( xt , ut ) d t ,
满足 x0 = x , 这种情况通常讨论平均期望成本问题。
由贝尔曼动态规划原理, 得:
1 两种常见的随机控制模型
111 状态无奇异项且最后时间为固定的情形
设(Ω, F , Ft , P) 是一个概率空间, Wt 为其上的标准布朗运动, 状态过程满足随机微分方程:
d xt = f ( xt , ut ) d t + σ( xt , ut ) d Wt .
控制过程 ut 循序可测; 控制空间为 U ; f ,σ满足通常的 Lip schitz 条件及多项式增长条件。目标费用