文档介绍：Wei-Shi Zheng
wszheng@
2/22/2018, Page 1
郑伟诗
智能科学系
wszheng@
/~jason/
统计分析进阶
Wei-Shi Zheng
wszheng@
2/22/2018, Page 2
统计分析进阶
课程安排
隐马尔可夫模型
多元统计分析:简介
多元主成分分析
案例分析
程序发往
作业:发至 exercise_sysu@ (不要发到我的ieee邮箱)
作业截止时间:9月8日
Wei-Shi Zheng
wszheng@
2/22/2018, Page 3
I 隐马尔可夫模型
隐马尔可夫模型(HMM)的由来
马尔可夫性和马尔可夫链
HMM实例
HMM的三个基本算法
Wei-Shi Zheng
wszheng@
2/22/2018, Page 4
HMM的由来
1870年,俄国有机化学家Vladimir V. Markovnikov第一次提出马尔科夫模型
马尔可夫模型
马尔可夫链
隐马尔可夫模型
Wei-Shi Zheng
wszheng@
2/22/2018, Page 5
马尔可夫性
如果一个过程的“将来”仅依赖“现在”而不依赖“过去”,则此过程具有马尔可夫性,或称此过程为马尔可夫过程
X(t+1) = f( X(t) )
隐马尔可夫:只观察到Oi, Oi由隐含变量Xi的状态值决定,且(Oi,Xi)独立。
X1
X2
XT
…………
O1
O2
OT
…………
Wei-Shi Zheng
wszheng@
2/22/2018, Page 6
马尔科夫链
时间和状态都离散的马尔科夫过程称为马尔科夫链
记作{Xn = X(n), n = 0,1,2,…}
在时间集T1 = {0,1,2,…}上对离散状态的过程相继观察的结果
链的状态空间记做I = {a1, a2,…}, ai∈R.
条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏链在时刻m处于状态ai条件下,在时刻m+n转移到状态aj的转移概率。
Wei-Shi Zheng
wszheng@
2/22/2018, Page 7
转移概率矩阵
阴天
晴天
下雨
晴天阴天下雨
晴天
阴天
下雨
Wei-Shi Zheng
wszheng@
2/22/2018, Page 8
转移概率矩阵(续)
由于链在时刻m从任何一个状态ai出发,到另一时刻m+n,必然转移到a1,a2…,诸状态中的某一个,所以有
当Pij(m,m+n)与m无关时,称马尔科夫链为齐次马尔科夫链,通常说的马尔科夫链都是指齐次马尔科夫链。
Wei-Shi Zheng
wszheng@
2/22/2018, Page 9
HMM实例——实例描述
设有N个缸,每个缸中装有很多彩球,球的颜色由一组概率分布描述。实验进行方式如下
根据初始概率分布,随机选择N个缸中的一个开始实验
根据缸中球颜色的概率分布,随机选择一个球,记球的颜色为O1,并把球放回缸中
根据描述缸的转移的概率分布,随机选择下一口缸,重复以上步骤。
最后得到一个描述球的颜色的序列O1,O2,…,称为观察值序列O。
Observed Ball Sequence
Urn 3
Urn 1
Urn 2
Veil
Wei-Shi Zheng
wszheng@
2/22/2018, Page 10
HMM实例——约束
在上述实验中,有几个要点需要注意:
不能被直接观察缸间的转移
从缸中所选取的球的颜色和缸并不是
一一对应的
每次选取哪个缸由一组转移概率决定