文档介绍：摘要机器学****的目的是为了解决规模比较庞大,系统比较复杂的问题,因此如何挖掘及处理在大量数据中隐藏的潜在相关信息,从纷繁复杂的表象中提取出事物的本质特征愈显重要,并越来越受到众多研究者的重视。长期以来,特征提取的焦点主要集中在怎样可以用较少的数据精炼地表示事物之间的区别,这样特征提取问题从某种程度上来说就归结为降低特征的维数问题。从分类器的运行性能角度出发,往往根据所选取的不同特征以及不同数量而对分类结果产生不同程度的差异为标准来构造分类器。由此可见,特征提取在分类过程中起着重要作用。所有的特征提取算法的主要目的都是为了降低计算的复息成分,完成分量间高阶冗余的去除及独立信源的提取。本文从统计方法以及信息论角度介绍了其基本原理和算法,并与其他常用的特征提取方法进行比较分析。本文运用械腇算法,在不同条件设置的情况下,对机器学****标分类准确率,证明了谔卣魈崛》矫娴挠行裕⒔岷系苯窨蒲а芯苛煊颍简单介绍了利用魑L卣魈崛》椒ǖ挠τ梅独关键词:独立成分分析惶卣魈崛。籉算法杂性并且通过剔除弱相关或者冗余特征分量来改进分类器的设计和效果。本论文引入独立成分分析魑R恢痔卣魈崛》椒ā6懒⒊煞址治龅基本原理是通过分析多维观测数据间的高阶统计相关性,找出相互独立的隐含信准数据库的部分数据进行了特征提取,最后利用支持向量机约捌渌相关分类器/对提取以后的特征分量进行分类识别,通过直观比较
瓼,甌,瑃拓瑃.,..,—..琣瓸,
篒基于独立成分分析的特征提取方法研究:;
声明人┟.伊厦门大学学位论文原创性声明兹呈交的学位论文,是本人在导师指导下独立完成的研究成果。本人在论文写作中参考的其他个人或集体的研究成果,均在文中以明确方式标明。本人依法享有和承担由此论文产生的权利和责任。
、使用学位论文的规定。厦门大学有权保留并向国家主管部门或其指定机构送交论文的纸质版和电子版,有权将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅,有权将学位论文的内容编入有关数据库进行检索,有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密后适用本规定。本学位论文属于⒈C年解密后适用本授权书。⒉槐C朐谝陨舷嘤ê拍诖颉啊日期:日期:年日名师作导签者
第一章绪论概述特征提取一观测样本矢量,其中竘,...,8鞲龇至俊0凑漳持肿荚蚨云涫┘右在科学研究的众多领域中,一个普遍存在的问题是如何从采集的数据中获取信息。随着科技的高速发展,大量数据的测量及存储己经不再成为问题,但是获取数据本身显然是不够的,提取产生这些数据潜在的本质性的信息才是根本目的。通常我们所获得的原始数据的数据量相当大,而且样本常处于一个高维空间中,如果我们直接用原始数据进行分类器设计,无论从计算的复杂程度还是分类器性能来看都是不适宜的。为了有效地实现分类识别,就要把原始数据映射变换降臀占洌玫阶钅芊从呈荼局实奶卣鳎飧龉探刑卣魈崛。成是模式识别中的中间环节,如果由该环节得到的特征对不同类别的模式差异很果不经提取用很多特征进行分类器设计,无论从计算的复杂程度还是分类器的性能来看都是不适宜的,因此如何把原始的高维特征空间压缩到高效的低维特征空经典特征提取定义为从Ⅳ个特征中选出肘个特征,并满足条件躈。特征提取广义上指的是一种变换,若遣饬靠占洌琗是特征空间,则变换篩—徒凶鎏卣魈崛∑鳌NA耸刮侍饩】赡艿募虻セ约翱悸堑郊扑愕母杂性,我们通常对原始数据进行线性变换。为了便于研究,通常把采集得到的数据看成多维随机变量的一组实现,以便于将随机变量的数值统计方法。对多维信号在时刻牟裳驹縭,..煽醋魇侵馕婊淞康哪后的特征翁卣鳎鞘窃继卣鞯哪持肿楹通常是线性组合L卣魈崛大,那就比较容易设计出具有较好性能的分类器。特征提取的基本任务是如何从许多的原始数据中找出那些最有效的特征,如间是特征提取的关键。
咒∑鋛綧琘,...,】1浠坏慕峁<偕枵饫锏膄是一线性变换,于是有中的每个分量都是原始数据所有分量的线性组合可简单写作矩阵形式:故多维数据的线性变换简单地说就是按照一定的准则去找一系列加权系数%。将源数据在这样一个坐标系上展开,得到的各个分量便是变换的结果。要特性的目标函数。一组最优特征来,为此有两个问题要解决,一是选择的标准,即要选出使某一可分性最大的特征组来。另一问题是要找一个较好的算法,以便在允许的时间内找出最优的一组特征。特征提取可以看作一个优化问题,其关键是建立一种评价标准来区分哪些特征有助于分类,哪些特征存在冗余性,部分或者完全无关。不同的评价函数可能会给出不同的结果。根据评价函数与分类器的关系,特征提取方法分成筛选器、封装器和特征空间三种。筛选器技术在实际筛选之前预先估计互情况下选取相关特征。数据的统计特性包括数据的连续性、相关性以及信息内容。在封装器技术中