文档介绍：
EM是我一直想深入学****的算法之一
EM是我始终想深化学****的算法之一 本文关键词：我始终，算法，学****EM
EM是我始终想深化学****的算法之一 本文简介：EM是我始终想深化学****的看作是对求了下界。对于的选择，有多种可能，那种更好的？假设已经给定，那么的值就确定于和了。我们可以通过调整这两个概率使下界不断上升，以靠近的真实值，那么什么时候算是调整好了呢？当不等式变成等式时，说明我们调整后的概率能够等价于了。遵照这个思路，我们要找到等式成立的条件。依据Jensen不等式，要想让等式成立，须要让随机变量变成常数值，这里得到：
c为常数，不依靠于。对此式子做进一步推导，我们知道，那么也就有，〔多个等式分子分母相加不变，这个认为每个样例的两个概率比值都是c〕，那么有下式：
至此，我们推出了在固定其他参数后，的计算公式就是后验概率，解决了如何选择的问题。这一步就是E步，建立的下界。接下来的M步，就是在给定后，调整，去极大化的下界〔在固定后，下界还可以调整的更大〕。那么一般的EM算法的步骤如下：
循环重复直到收敛
{
〔E步〕对于每一个i，计算
〔M步〕计算
那么到底怎么确保EM收敛？假定和是EM第t次和t+1次迭代后的结果。假如我们证明白，也就是说极大似然估计单调增加，那么最终我们会到达最大似然估计的最大值。下面来证明，选定后，我们得到E步
这一步保证了在给定时，Jensen不等式中的等式成立，也就是
然后进展M步，固定，并将视作变量，对上面的求导后，得到，这样经过一些推导会有以下式子成立：
说明第〔4〕步，得到时，只是最大化，也就是的下界，而没有使等式成立，等式成立只有是在固定，并按E步得到时才能成立。
况且依据我们前面得到的下式，对于全部的和都成立
第〔5〕步利用了M步的定义，M步就是将调整到，使得下界最大化。因此〔5〕成立，〔6〕是之前的等式结果。
这样就证明白会单调增加。一种收敛方法是不再改变，还有一种就是改变幅度很小。
再次说明一下〔4〕、〔5〕、〔6〕。首先〔4〕对全部的参数都满意，而其等式成立条件只是在固定，并调整好Q时成立，而第〔4〕步只是固定Q，调整，不能保证等式必须成立。〔4〕到〔5〕就是M步的定义，〔5〕到〔6〕是前面E步所保证等式成立条件。也就是说E步会将下界拉到与一个特定值〔这里〕一样的高度，而此时发觉下界仍旧可以上升，因此经过M步后，下界又被拉升，但达不到与另外一个特定值一样的高度，之后E步又将下界拉到与这个特定值一样的高度，重复下去，直到最大值。
假如我们定义
从前面的推导中我们知道，EM可以看作是J的坐标上升法，E步固定，优化，M步固定优化。
3.
重新谛视混合高斯模型
我们已经知道了EM的精华和推导过程，再次谛视一下混合高斯模型。之前提到的混合高斯模型的参数和计算公式都是依据许多假定得出的，有些没有说明来由。为了简洁，这里在M步只给出和的推导方法。
E步很简洁，遵照一般EM公式得到：
简洁说明就是每个样例i的隐含类别为j的概率可以通过后验概率计算得到。
在M步中，我们须要在固定后最大化最大似然估计，也就是
这是将的k种状况绽开后的样子，未知参数和。
固定和，对求导得
等于0时，得到
这就是我们之前模型中的的更新公式。
然后推导