第九章 em算法与其推广.pdf

文档介绍：、EM算法的引入EM算法EM算法的导出EM算法在非监督学习中的应用三硬币模型三硬币模型:硬币A、B、C,正面概率π,p,q,A正面时选B,反面选C,得到结果:1101001011问题:只能看结果,不能看中间过程,估算π,p,q,解:模型随机变量Y是观测变量,表示一次试验观测的结果是1或0,随机变量z是隐变量,表示未观测到的掷硬币A的结果,这一模型是以上数据的生成模型。三硬币模型观测数据:未观测数据:似然函数:即:极大似然估计:该问题没有解析解,EM迭代法:EM算法选取初值:第i步的估计值:EM算法第i+1次迭代:E步:计算在模型参数下观测数据yi来自掷硬币B的概率:M步:计算模型参数的新估计值EM算法初值:利用迭代公式,得:继续迭代,得:得到模型参数的极大似然估计:EM算法如果取初值:plete-plete-dataEM算法输入:观测变量数据Y,隐变量数据Z,联合分布P(Y,Z|Θ)条件分布P(Z|Y,Θ)输出:模型参数Θ给定观测数据Y和当前参数估计ΘEM算法Q函数定义:完全数据的对数似然函数logP(Y,Z|Θ)关于在给定观测数据Y和当前函数Θ(i)下对未观测数据Z的条件概率分布P(Z|Y,Θ(i)),的期望称为Q函数,即: