文档介绍：第十二章马氏链模型
健康与疾病
钢琴销售的存贮策略
基因遗传
等级结构
资金流通
马氏链模型
系统在每个时期所处的状态是随机的.
从一时期到下时期的状态按一定概率转移.
下时期状态只取决于本时期状态和转移概率. 已知现在,将来与过去无关(无后效性)
描述一类重要的随机动态系统(过程)的模型.
马氏链(Markov Chain)
——时间、状态均为离散的随机转移过程
通过有实际背景的例子介绍马氏链的基本概念和性质.
例1. 人的健康状况分为健康和疾病两种状态,设对特定年龄段的人,今年健康、, 而今年患病、.
健康与疾病
人的健康状态随着时间的推移会随机地发生转变.
保险公司要对投保人未来的健康状态作出估计, 以制订保险金和理赔金的数额.
若某人投保时健康, 问10年后他仍处于健康状态的概率.
Xn+1只取决于Xn和pij, 与Xn-1, …无关
状态与状态转移
状态转移具有无后效性
1
2
n 0
a2(n) 0
a1(n) 1
设投保时健康
给定a(0), 预测 a(n), n=1,2,…
设投保时疾病
a2(n) 1
a1(n) 0
n时状态概率趋于稳定值, 稳定值与初始状态无关.
3 …
…
…
∞
7/9
2/9
…
…
7/9
2/9
状态与状态转移
1
2
1
2
1
2
3
1
例2. 健康和疾病状态同上,Xn=1~ 健康, Xn=2~ 疾病
p11=, p12=, p13=
死亡为第3种状态,记Xn=3
健康与疾病
p21=, p22=, p23=
p31=0, p32=0, p33=1
n 0 1 2 3
a2(n) 0
a3(n) 0
a1(n) 1
设投保时处于健康状态,预测 a(n), n=1,2,…
不论初始状态如何,最终都要转到状态3 ;
一旦a1(k)= a2(k)=0, a3(k)=1, 则对于n>k, a1(n)=0,
a2(n)=0, a3(n)=1, 即从状态3不会转移到其他状态.
状态与状态转移
0
0
1
∞
50
马氏链的基本方程
基本方程
马氏链的两个重要类型
1. 正则链~ 从任一状态出发经有限次转移
能以正概率到达另外任一状态(如例1) .
w ~ 稳态概率
马氏链的两个重要类型
2. 吸收链~ 存在吸收状态(一旦到达就不会离开
的状态i, pii=1),且从任一非吸收状态出发经有
限次转移能以正概率到达吸收状态(如例2).
有r个吸收状态的吸收链的转移概率阵标准形式
R有非零元素
yi ~ 从第 i 个非吸收状态出发,被某个吸收状态吸收前的平均转移次数.