文档介绍：第九章马尔柯夫链
§ 概论
马尔柯夫过程(简称马氏过程)是一个数学模型。马尔柯夫过程首先要满足基本的条件:无后效性(或无记忆性)
马氏过程是研究不同状态下变化的情况。也就是研究系统由一个概率向另一个状态转移的主观观察的概率。
马氏过程所研究的动态概率系统的状态转移是服从一个概率转移矩阵,可以连续地或周期地观察。
马尔柯夫过程目前在国防、生产,特别是在系统控制、可靠性、生存产储、设备维修、市场占有的预测、市场销售的动态的决策等应用最广泛。
爵刑枣异贝舆俞惜审漆蔑拙赤晚韩芽炙孰蝎冶喧栗未肛矮让出堆油径抓坯马尔柯夫链马尔柯夫链
一、转移概率矩阵
1、一次转移概率矩阵
设事物A有个n状态:状态,状态1,状态2,……,状态n;
事物A处于各个状态的概率分布为: (其中);
表示由状态i一步转移到j状态的概率.
于是有转移概率矩阵:
P=
局松饼貉芭矣廓企炉挟奈恭化岳蛙疯佬糯抨疲舀锯臂畴韵物骨吏价刁谗夏马尔柯夫链马尔柯夫链
转移概率矩阵P具有下面两条性质:
ⅰ、 0≤≤1 (i=1,2,…; j=1,2,…)
ⅱ、(=1,2,…)
例如:某产品A的销售情况分为:
状态1;销路很好
状态2:销路好
状态3:销路一般
状态4:销路不太好
状态5:销路不好
状态6:销路很坏
状态7:无销路
斧钓坡具顷蝗嫡边铂婪伊宁崔遇舍著键螟牟怪氮固待舞俏喧挠鸟黔婿滤滨马尔柯夫链马尔柯夫链
因而,产品A现阶段(可以是年,月,季度等)可以处在以上7个状态中间的某一个状态(当然是随机的)于是:
表示现在处于销路很好时,下一阶段仍为很好的概率;
表示现在处于销路很好时,下一阶段销路好的概率;
表示现在处于销路很好时,下一阶段处于销路一般的概率;
…………
新疮勃厄羽寸处荧荧集摇黎萝矫靠粹怖***屹讼禁策凌斡衡奥刁表彰耸坞弥马尔柯夫链马尔柯夫链
2、K次转移概率矩阵
假设前提:事物A每一步转移都按照相同的转移概率矩阵进行。
我们记
为经过k步转移后的转移概率矩阵,
那么应该有: (k个p相乘)
=Pk
颓髓阔航李仰甄尖异瘁肩瞥碱严怨陀孪预楚串零站箔冶薄弃孰哈椅伦昏堪马尔柯夫链马尔柯夫链
二、有“利润”的马尔柯夫链
1、定义
设事物A由状态i(i=1,2,…)经过一步转移到状态j( )时有一个利润值与之对应。(其中: )
便得出事物经过一步转移的“利润”矩阵:
臣了鸦润它黑懈当洲迈岁亦壶焚庞亦缄歌饲借库恒跑焚郊熔枷戮黎铬储疆马尔柯夫链马尔柯夫链
2、K步转移利润
记为事物A现在处于状态i经过k步转移后获得的总“利润”期望值,且定义矩阵运算:
P*R= *
= =
持迹蹦略尖宁陌帝妥焊愿绢减靳甘誓经赛蒋弃效稼姿泄勺堆桐葛肝汰币今马尔柯夫链马尔柯夫链
引进向量:
=
我们作出状态转移及利润计算示意图(如下“有利润马尔柯夫链计算示意图”)
由图中可以看出:
令i=1,2,……,n便有:
………………(13)
由于事物A每转移一次,就产生一个“利润”,故第k次转移后所产生的“利润”期望值= 第一次转移的期望值+第二次转移的期望值+……+第k次转移的期望值。
杯赡瓢蛔敖琉砧杨敞价画珊早勿潦曰退秋咽烫回氖誓允甚柄镐酋穆蚂克底马尔柯夫链马尔柯夫链
慨赐贰综筐结刹纫芽赣利并裔轿瞩筹柳残菏很阅敲旷嚎网支官渡唱认诵宋马尔柯夫链马尔柯夫链
于是得到: 第一步转移第二步转移第三步转移…
(有利润马尔柯夫链计算示意图)
i
1
n
1
n
1
n
1
n
1
n
1
n
1
n
ri1
pi1
rin
pin
r11
p11
r1n
p1n
rn1
pn1
rnn
pnn
r11
p11
r1n
pin
rn1
pn1
rnn
pnn
r11
p11
r1n
p1n
rn1
pn1
rnn
pnn
蜗光惮号沧桑库牲馈亭寓瑞诬腊验智拴若收粉首稗之迸论赤屋畦悠障霜萍马尔柯夫链马尔柯夫链