文档介绍：浙江大学理学院
硕士学位论文
矩阵的非负分解算法及应用
姓名:张永亮
申请学位级别:硕士
专业:计算数学
指导教师:张振跃
20080601
摘要降维是一种在高维数据中挖掘低维相关性的技术,在模式识别,机器学习,独立组分分析以及图像处理等领域有着广泛的应用。而非负矩阵分解做为降维方法的一种,因其明确的物理意义及良好的可解释性受到广泛的关根据分解的目的,非负矩阵分解大致可以分为两种,一是在保证数据某些性质的基础上,将高维空间的样本点映射到某个低维空间上,除去一些不重要的细节,获得原数据的本质信息;二是在从复杂混乱的系统中得到混杂前的各独立信息的种类和强度。因此,基于非负矩阵分解过程应用领域的不同,分解例针对上述两种应用场合,给出非负矩阵分解方法的一系列改进方法。本文首先介绍了非负矩阵分解产生的背景、其问题描述以及研究现状。接着本文针对稀疏存储问题,提出了一种新的向量稀疏性度量方法,给出了向量最优稀疏逼近的求解算法,进而给出非负矩阵的稀疏低秩逼近算法。然后,针对人脸识别领域,本文提出加权归一化的概念,并给出了两种行之有效的加权方法,该算法在人脸识别领域获得了足以与传统椒ㄏ噫敲赖氖侗鹦Ч最后,在煊颍疚母隽舜揭频姆歉壕卣蠓纸獾乃惴ǎǚ歉壕卣蠓纸算法推广到无非负限制的独立组分分析领域中,并提出了平滑化分级提取策略,有效的改善了独立组分提取的效果。关键词:降维,非负矩阵分解,稀疏化,人脸识别,独立组分分析注。过程所受的约束和需要保留的性质都不相同,本文将以治龊腿肆呈侗鹞
,·,.:琩,,,甆琧’:.,瑆,瑆篽瑂琭琁
:学位论文作者签名:歹反永荔学位论文作者签名:弓长永竞签字日期:劢四年乡月呵日签字日期:砂以年『日浙江大学研究生学位论文独创性声明学位论文版权使用授权书表或撰写过的研究成果,也不包含为获得逝姿盘堂一或其他教育机构的学位或本学位论文作者完全了解逝姿盘堂构送交本论文的复印件和磁盘,允许论文被查阅和借阅。本人授权逝婆叁堂本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文有权保留并向国家有关部门或机可以将学位论文的全部或部分内容编入有关数据库进行检索和传播,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。C艿难宦畚脑诮饷芎笫视帽臼谌ㄊ签字日期:中作了明确的说明并表示谢意。导师签名:
第一章引言背景及问题物质世界和人类社会中存在着大量的复杂事物及现象,人们希望揭示隐藏在这些纷繁芜杂的表象下的事物和现象的客观规律。比如对天气状况,随着气象学的发展,现在用来描述气象特征的指标非常多,例如温度、湿度、气压、风力、降雨量、辐射强度等等,这样对于每时每刻的天气状况,可以用多变量组成的向量数据表示,这些用多个变量描述现象的数据,抽象出来就是高维数据。高维数据提供了有关客观现象的极其丰富、详细的信息,然而,数据维数的增多也给随后的数据处理工作带来了前所未有的困难,因此,必须寻求一种新的处理高维数据的方法,以便于我们可以从纷繁复杂的高维数据中发现更为本质的这种情况下,数据降维一一把高维空间数据映射乇维空间的数据处理技术就应运而生了。降维问题在包括诸如数据挖掘、机器学习和计算机图像等领域中有着广泛的应用。作为一种重要的降维方法,非负矩阵分解的目是从高维空间中的样本点中发现隐藏其中的低维模式,并以这些低维模式为基础,将高维样本点映射到某个低维空间上,以获取原高维数据更为本质的信息,并以更加直观的方式表达出来。这样,对原高维数据的处理就可以放到在低维空间中进行,比如分类、标记以及检测等等。一方面,在一些人脸识别的图像处理中【縡¨】,昌图像可以表示成一个向量,其维数等于它的全部象素个数,比如×,向量中的每个元素可以取为对应象素点的灰度值,这样一个向量便可以完整的保存一副图像。然而在人脸识别中,给出一张新的图片,我们关心的只是这张图片是否具有人脸的结构,库中是否出现过类似的人脸特征,如果有,它是属于哪个人的率瞪希徽湃肆灰度图可以看作眼睛、屑毛、鼻子、嘴巴、额头等多种组分不同形式的组合。一张图片的像素数通常很大,而该图片所能表示的人脸特征数却远远小于象素总信息。数。因此我们希望从图像数据中发掘人脸图片中各种相对独立的较为准确的局
研究进展部特征,在保证需要的识别精度的前提下,以尽可能少的内存存储。另一方面,随着非负矩阵分解理论的发展,丫J甲魑R恢侄懒⒆分分析的手段应用于某些新的领域同,如医学中对于新出现的稀有病症的症状研究【浚硌е卸杂谏窬┒说绱畔煊η榭龅难芯恳约敖改晏岢龅脑诤焱光谱分析中的应用等。以前者为例,每种病症都需要通过一系列的症状