文档介绍：马尔科夫?马尔科夫过程?状态转移矩阵?马尔科夫预测?隐马尔科夫过程马尔科夫过程?随机变量:一变量 x,能随机地取数据(但不能准确地预言它取何值),而对于每一个数值或某一个范围内的值有一定的概率,那么称 x为随机变量。?在试验过程中,随机变量可能随某一参数(不一定是时间)的变化而变化。?随机函数:如测量大气中空气温度变化 x = x (h),随高度变化。这种随参变量而变化的随机变量称为随机函数。?随机过程:以时间 t作参变量的随机函数称为随机过程。?一种随机过程,具有“无后效性质”,即在已知目前状态(现在)的条件下,它未来的变化(将来)不依赖于以往的变化,而仅仅跟目前所处的状态有关。这种随机过程称为马尔科夫过程,即过程“将来”的情况与“过去”的情况是无关的。?例如:假定天气是马尔可夫的,其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联,而与前天及前天以前的天气没有关系。其它如传染病和谣言的传播规律,就是马尔可夫的。?某时刻的事件受在这之前事件的影响,其影响范围有限的随机过程, 为马尔可夫过程。一个事件受在它之前的事件的影响的深远程度,通常用在它之前的事件作为条件的概率来表达。受前一个事件的影响, 简称为马尔可夫过程;受前两个事件的影响,称为二阶马尔可夫过程;受前三个事件的影响,称为三阶马尔可夫过程。?时间和状态都是离散的马尔科夫过程称为马尔科夫链。具有无后效性的时间序列。所谓无后效性是指序列将来处于什么状态只与它现在所处的状态有关,而与它过去处于什么状态无关。状态转移矩阵?转移概率: 条件概率 P ij(m,m+n ) = PX m+n=a j|X m=a i为马氏链在时刻m处于状态 a i条件下,在时刻 m+n 转移到状态 a j的转移概率。?当 k=1 时,一步转移概率: P ij=P ij (1) = PX m + 1=a j|X m=a i。概率矩阵:系统有 N个状态,描述各种状态下向其他状态转移的概率矩阵例: ?荷花池里有 N张荷叶,在时刻 Tn 时,它所在的那张荷叶, 称为青蛙现在所处的状态。,只与它现在所处的状态 i (i=l,2,…, N) 有关,与它以前在哪张荷叶上无关。记 Xn 为时刻 Tn 青蛙所处的状态。? P(Xn+1=j/ Xn =i )= Pi,j ,其中, i,j =1,2, … N. 表示在 Tn 时刻青蛇在第 i张荷叶上。在下一个时刻 Tn+1 跳到第 j张荷叶上的可能性,又称为从状态 i经一步转移到 j的概率,简称为一步转移概率。将这些 Pi,j 依序排列起来,就构成一个矩阵,叫做转移概率矩阵。? P11 P12 ... P1n P=[ P21 P22 ... P2n ] ?... ? Pn1 Pn2 ... Pnn 马尔科夫预测?例: ? A,B,C 三个厂生产的电脑上公司在某地区市场上的占有率分别为 , , 。根据市场调查得知、顾客的流动情况如下: ? A B C?A ?B ?C ?市场的初始状态为 S(0)=(,,) ?转移概率 P为? ?P=[ ] ? ? S(1)=S(0) * P=(, , ), 这个月 A,B,C 电脑的市场占有率为 54%,20%,26% ? S(2)=S(1) * p=S(0) * P^2=(, , ), 下个月 A,B,C 电脑的市场占有率为 % , % , 26% 马尔科夫过程样例图隐马尔科夫过程?与马尔科夫相比,隐马尔科夫模型则是双重随机过程, 不仅状态转移之间是个随机事件,状态和输出之间也是一个随机过程?该图上面那行是一个马尔科夫转移过程, X 1, X 2,…… X T状态称为隐藏状态,下面这一行则是输出,即我们可以观察到的值,称为观察状态, 观察状态的集合表示为 O={O 1 ,O 2 ,O 3,…O M}。?隐马尔科夫也比马尔科夫多了一个假设,即输出仅与当前状态有关, 可以用如下公式表示: ? P(O1,O2, …,Ot|S1,S2, …,St)=P(O 1|S1) * P(O2|S2) * ...* P( Ot|St )? O1,O2, …, Ot为从时刻 1到时刻 t的观测状态序列, S1,S2, …,St 则为隐藏状态序列。