文档介绍：核矩阵低秩分解与核空间信息能度量研究及应用作者:刘松华学科:计算机应用技术导师:张军英教授中国西安西安电子科技大学博士研究生学位论文
’.甊./
强榴本人签名:立纤矿珈日期:趁笸:、。。尽我所知,除了本文中特别加以标注和致谢中所罗列的内容外,论文中不包含其他人已经发表或撰写过的研究成果;也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。本人签名:本人完全了解西安电子科技大学有关保留和使用学位论文的规定,即:学校有权保留送交论文的复印件,允许查阅和借阅论文;学校可以公布论文的全部或部分内容;可以允许采用影印、缩印或其它复制手段保存论文。C艿穆畚脑诮密后遵守此规定期:导师签名:、‘,一‘一、.
摘要模式分类中的核方法在实际应用中获得了较为成功的应用,其良好的性能在于不仅能高效地对数据间存在的非线性关系进行模式分析,而且核方法本身建立在严格的统计分析基础之上,与线性统计分析方法一样有坚实的理论基础。但是核方法在处理大规模数据分类任务时存在如下问题:一方面,核方法的计算复杂度较高,其算法的设计和求解与训练样本个数有关,且常见的经典算法采用凸二次优化策略,对于大规模数据集,需要较高的时间和空间复杂度;另一方面,由于核空间为高维甚至无限维,其间样本具有多模式、多态性,因此相似性不便于描述。针对上述问题,本文主要探讨了核矩阵的低秩分解和核空间的相似性测度。一是从特征选择和矩阵分解的角度考虑如何学习较优的低秩近似核矩阵。二是从基于距离的度量来考虑核空间中高维数据的特性。在此基础上,结合已有算法分别进行了比较分析,用基于核矩阵低秩分解与信息能度量的核方法实现高维多模式对象的特征提取和模式分类,实验结果验证了算法的有效性。总的来说,本文的主要工作包括如下五个方面:攵院司卣蠓纸馑惴ㄊ奔涓丛佣冉细叩奈侍猓芯苛巳绾味院司卣蠼械秩分解。常用的矩阵低秩分解算法均可以视为无监督算法,本文通过分析核矩阵中行/列与类别的相关性,结合已有的矩阵分解运算,提出了有监督的核矩阵低秩分解方法,最后给出核矩阵低秩近似误差界的期望值。实验证明核矩阵分解过程中,行的选取对分类效果有较大影响,在保证分类性能的前提下,本文算法能在一定程度上提高核机器学习效率,为大规模数据集中的应用奠定了良好的基础;朔椒ㄔ诘臀葜幸丫〉昧私衔3晒Φ挠τ茫欢诟呶葜校于数据包含更为丰富的内在结构,因此常用的相似性测度如欧氏距离面临分类效果较低的困境。通过研究非距离的度量问题,提出了新的信息能度量,该方法满足距离的度量公理,且不仅适用于低维数据,同时可以有效挖掘高维数据中的相似性结构,实验结果验证了该相似性测度的正确性;芯苛撕丝占渲械奶卣魈崛∥侍狻;谔岢龅男畔⒛芏攘浚岷咸荻壬仙方法,提出了新的特征提取算法。该算法在应用于大规模数据集时,可以采用核矩阵的低秩近似分解来有效降低运算复杂度,且无须预先进行特征选择。同时信息能的梯度信息可以描述特征的聚集趋势,有利于指导分类任务;谔岢龅男畔⒛芏攘浚ü芯恳延械淖罱谒惴ê推浜嘶问剑云进行改进,提出了新的核肛最近邻算法。该算法有效结合了近邻法和核方法的特性,有较好的物理意义,且能由此模型推出经典的互信息度量,因此具有良好的
理论基础和推广能力;砸延械南赴硇屯夹翁钜煅八惴ń泻嘶岢鲂碌幕谛畔⒛芏量的核形态差异学习算法,并设计了一系列最优参数选择方案,保证了实验效果,为核方法在该领域的进一步应用奠定了基础。关键词:核方法,低秩近似,特征值分解,相似性测度,核最近邻核矩阵低秩分解与核空间信息能度量研究及应用
,—甒,..··.,,.,.,.猺,猻.
.,珽,