6马氏链模型.ppt

文档介绍：马氏链模型
1 健康与疾病
2 钢琴销售的存贮策略
3 基因遗传
4 等级结构
马氏链模型
系统在每个时期所处的状态是随机的
从一时期到下时期的状态按一定概率转移
下时期状态只取决于本时期状态和转移概率已知现在,将来与过去无关(无后效性)
描述一类重要的随机动态系统(过程)的模型
马氏链(Markov Chain)
——时间、状态均为离散的随机转移过程
通过有实际背景的例子介绍马氏链的基本概念和性质
例1. 人的健康状况分为健康和疾病两种状态,设对特定年龄段的人,今年健康、, 而今年患病、,
1 健康与疾病
人的健康状态随着时间的推移会随机地发生转变
保险公司要对投保人未来的健康状态作出估计, 以制订保险金和理赔金的数额
若某人投保时健康, 问10年后他仍处于健康状态的概率
Xn+1只取决于Xn和pij, 与Xn-1, …无关
状态与状态转移
状态转移具有无后效性
1
2




n 0
a2(n) 0
a1(n) 1
设投保时健康
给定a(0), 预测 a(n), n=1,2…
设投保时疾病
a2(n) 1
a1(n) 0
n时状态概率趋于稳定值,稳定值与初始状态无关
3 …
…
…
∞
7/9
2/9
…
…
7/9
2/9
状态与状态转移
1
2




1


2


1
2
3


1




例2. 健康和疾病状态同上,Xn=1~ 健康, Xn=2~ 疾病
p11=, p12=, p13=
死亡为第3种状态,记Xn=3
健康与疾病
p21=, p22=, p23=
p31=0, p32=0, p33=1
马氏链的两个重要类型
1. 正则链~ 从任一状态出发经有限次转移能以正概率到达另外任一状态(如例1)。
w ~ 稳态概率
马氏链的两个重要类型
2. 吸收链~ 存在吸收状态(一旦到达就不会离开的状态i, pii=1),且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态(如例2)。
有r个吸收状态的吸收链的转移概率阵标准形式
R有非零元素
yi ~ 从第 i 个非吸收状态出发,被某个吸收状态吸收前的平均转移次数。