文档介绍：马尔科夫过程
状态序列: X1, X2, X3, …
马尔科夫过程假设
从Xt-1到Xt的转换只依赖于Xt-1
时间不变性
p(Xt|Xt-1) = p(Xt+n|Xt-1+n)
X2
X3
X4
X1
转移概率Transition Probabilities
假设一个状态Xt有N个可能的值
Xt=s1, Xt=s2,….., Xt=sN.
转移概率的数量为:N2
P(Xt=si|Xt-1=sj), 1≤ i, j ≤N
转移概率可以表示为N×N的矩阵或者有向图
一个状态序列的概率:
P(S1, S2, S3, …,Sn)=P(S1 | S1=start)* P(S2 | S1)*…*P(Sn| Sn-1)
马尔科夫过程的表示
Bigram:一阶马尔科夫链
概率化有限状态自动机
状态:输入输出字母表中的符号
弧:状态的转移
隐马尔可夫模型简介
X1
X2
XT
…………
O1
O2
OT
…………
隐马尔科夫模型的例子
例子:病情转化
假设:某一时刻只有一种疾病,且只依赖于上一时刻疾病 一种疾病只有一种症状,且只依赖于当时的疾病
症状(观察值):发烧,咳嗽,咽喉肿痛,流涕
疾病(状态值):感冒,肺炎,扁桃体炎
转移概率:从一种疾病转变到另一种疾病的概率
输出概率:某一疾病呈现出某一症状的概率
初始分布:初始疾病的概率
解码问题:某人症状为:咳嗽→咽喉痛→流涕→发烧 请问:其疾病转化的最大可能性如何?
例子:词性标注
问题:
已知单词序列w1w2…wn,
HMM模型:
将词性为理解为状态
将单词为理解为输出值
训练:
统计词性转移矩阵[aij]和词性到单词的输出矩阵[bik]
求解:Viterbi算法