文档介绍：EM 算法实验报告一、算法简单介绍 EM 算法是 Dempster , Laind , Rubin 于 1977 年提出的求参数极大似然估计的一种方法, 它可以从非完整数据集中对参数进行 MLE 估计,是一种非常简单实用的学****算法。这种方法可以广泛地应用于处理缺损数据、截尾数据以及带有噪声等所谓的不完全数据, 可以具体来说, 我们可以利用 EM 算法来填充样本中的缺失数据、发现隐藏变量的值、估计 HMM 中的参数、估计有限混合分布中的参数以及可以进行无监督聚类等等。本文主要是着重介绍 EM 算法在混合密度分布中的应用, 如何利用 EM 算法解决混合密度中参数的估计。二、算法涉及的理论我们假设 X 是观测的数据,并且是由某些高斯分布所生成的, X 是包含的信息不完整(不清楚每个数据属于哪个高斯分布)。, 此时, 我们用 k 维二元随机变量 Z ( 隐藏变量) 来表示每一个高斯分布,将Z 引入后, 最终得到: ,, 然而 Z 的后验概率满足(利用条件概率计算): 但是,Z nk 为隐藏变量, 实际问题中我们是不知道的, 所以就用 Z nk 的期望值去估计它( 利用全概率计算)。然而我们最终是计算 max : 最后,我们可以得到(利用最大似然估计可以计算): 三、算法的具体描述 参数初始化对需要估计的参数进行初始赋值,包括均值、方差、混合系数以及。 E-Step 计算利用上面公式计算后验概率,即期望。 M-step 计算重新估计参数,包括均值、方差、混合系数并且估计此参数下的期望值。 收敛性判断将新的与旧的值进行比较,并与设置的阈值进行对比,判断迭代是否结束,若不符合条件,则返回到 ,重新进行下面步骤,直到最后收敛才结束。四、算法的流程图结束参数初始化是否收敛开始 M-step E-Step 是否五、实验结果 a_best= mu_best= cov_best= (:,:,1) = - - (:,:,2) = - - f= - -5 0 5 10 2 2. 5 3 3. 5 4 4. 5 5 5. 5 6 6. 5 数据 X 的分布 0 5 10 15 20 25 -5. 5 -5 -4. 5 -4 -3. 5 -3 -2. 5 -2 -1. 5 每次迭代期望值-5 0 5 10 2 2. 5 3 3. 5 4 4. 5 5 5. 5 6 6. 5 利用 EM 估计的参量值与真实值比较(红色:真实值青绿色:估计值) 六、参考文献 1. M. Jordan . Pattern Recognition And Machine Learning 2. Xiao Han. EM Algorithm 七、附录 close all;clear;clc; % 参考书籍 % % ******@pr- % 2009/10/15 %% M=2; % number of Gaussian N=200; % total number of data sampl