文档介绍：第卷第期计算机技术与发展
. .
年月;\ .
有限混合模型在文本分类中的应用研究
周瑛一,张铃
.南京大学,江苏南京;
.安徽大学,安徽合肥
摘要:通过对覆盖算法结果的分析,将覆盖某一类样本的每个覆盖看成一个分布,利用有限混合模型的极大
似然拟合,用期望最大化算法算法来对覆盖算法进行优化处理。算法的迭代过程,就是不断调整各覆盖的中心、“半
径”以及其线性组合系数,逐渐趋向最优解的过程。目的是为了提高覆盖算法的精度。应用于文本分类的实验证明,通过
方法对均值、方差和线性组合系数进行迭代汁算,将所求得的参数用于测试时所得到的平均精度都高于原覆盖算法的
最高分类精度以及处理同类数据的分类精度。
关键词:有限混合模型;算法;覆盖算法;文本分类
中图分类号: 文献标识码: 文章编号:———

。一。
.,,;
.,,
:.% —
., ,
. —
, .
. ,
, ,
.
:; ;;
引言都落在一个超球面上,再根据投影后的位置来构造神
张铃教授利用~神经元的新的几何意义,提经网络。这种方法可迅速地、构造性地得到对于训练
出了一种前向神经网络的新的学习算法——覆盖算数据几乎完全正确分类的神经网络,而不必像传统的
法.。该算法的主要思想是构造一个网络,使得对算法那样反复地进行迭代训练而未必会有好的结
于给定的样本集进行分类等价于求出一组领域,对所果。该算法被成功地应用在金融预测、模式识别、手写
给定的样本集中的点,能按分类的要求用所覆盖的领汉字、文本分类、网络上图像检索等问题中。文中
域将它们分隔开来。根据这个思想,算法首先将原空通过对覆盖算法结果的分析,将覆盖某一类样本
间的样本点向高维空间投影。在投影后,每个样本点的每个覆盖看成一个分布,利用混合模型的极
大似然拟合,用期望最大化算法来对覆盖算法进行优
收稿日期:—~;修回日期:——化处理,目的是为了提高覆盖算法的精度。文中具体
基金项目:安徽省哲学社会科学规划基金一;安徽到;混合模型的极大似然拟合形式及算法实
省人文社会科学研究基金% 现,最后将该迭代算法应用在覆盖算法中。应用于文
作者简介:周瑛一,女,安徽无为人,教授,博士后,研究方
本分类的实验证明,用所求得的参数用于测试时所得
向为模糊理论及应用、神经网络、信息检索;张铃,教授,博士生导
到的平均精度都高于原覆盖算法的最高分类精度以及
师,研究方向为人:智能理论、机器学习理论和方法、智能计甜:技
处理同类数据的分类精度。
术、神经阐络技术等。
第期周瑛等:有限混合模型在文本分类中的应用研究· ·
有限混合模型的极大似然拟合及其求解∑;;/
方法
. 有限混合模型的定义及∑;
设“,是样本量为的独立同分布对: ,⋯,成立,其中令
,...随机样
;。:
本,其中是维随机变量,其概率密度函数为
∑;,;,
。假设样本是这样产生的:先以概率决定其所
为抽自第个分量的后验概率
属类别,接着根据概率密度生成一个具体的
。当分量密度具体指定时,方程组、
样本。于是,对于一个给定的样本,其产生的概率可
和可用迭代方法计