文档介绍：浙江大学计算机科学与技术学院
硕士学位论文
基于双层分类模型的实时语音情感与音素识别
姓名:王博
申请学位级别:硕士
专业:计算机应用技术
指导教师:卜佳俊
20080501
摘要语音交互是人机交互最自然的方式,作为其基础的语音识别技术一直是计算机领域的热门研究议题,语音识别过程包括语音信号预处理、声学特征提取、特征向量降维处理和基于统计模型的语音识别。本文着眼于该领域近年柬备受关注的情感识别和音素识别两大分支,通过对现有统计模型的改进,实现了语音的情感和音素实时识别。首先提出了本论文的研究背景及研究内容,简单说明了情感识别和音素识别的重要意义,然后回顾了目前语音研究中常用的各种声学特征,分别简要介绍了情感识别和音素识别中常用的统计模型和降维算法。本文将在文本分类、图像识别等领域应用广泛的模型引入语音领域,并且将该模型改造为输出双标签的双层分类模型,讨论了该双层模型的两种训练策略,比较了两者的优劣,最终成功实现了语音的实时情感识别和音素识别。在上层的情感识别中,为了突出情感的连续性,引入了差分的声学特征,为了避免情感的跳跃变化,采用了加权投票的约束策略;在下层的音素识别中,为了克服协同发音的影响,采用了前向帧关联的发音模型,为了提高识别的速率,对多帧高维向量进行了非线性降维处理。本文提出的分类模型具有潜在的商业应用价值,可以应用在低频带网络通讯、虚拟主持人、游戏制作、自动客服系统、电影和广告中的角色模拟等许多领域。关键词:情感识别,音素识别,.霾呤鳎珹罘痔卣鳎尤ㄔ际协厨发音,非线性降维浙江大学硕士学位论文摘蔓
.吨珻,:—.,瑅“琋浙江大学硕士学位论文,,猵琣,秂甌,瑃甌琣,,;,琫..琍
图目录图镆舨鞴佟图咝左头窍咝右P汀图镆舳淌逼轿忍匦允疽馔肌樾髂J绞玖摇图刺琀删模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图肷⑹粜杂肓粜砸羲厥侗鸾峁员茸琛图诓阋羲厥侗鸾峁簇摇图双层识别结果柱状凰⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图低辰峁故疽馔肌图单帧与前向关联一帧对比阻⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图樾魅J酵肌图K苋我夥植嫉氖疽馔肌图神经网络结构示意阻⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.峁故疽庾琛图聚类过程示意匝⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图ú隳P脱盗凡呗允疽庾琛迭代次数对比阻⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图獠闱楦惺侗鸾峁赐肌图艚贖模型示意凰⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图话闾卣饔氩罘痔卣魇侗鸾峁员茸琛图ブ∮爰尤ㄔ际侗鸾峁员仍选图形捭兄凳侗鸾峁员茸琛“邻居”示意匾⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.降维次数对比图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图单帧与前向关联两帧对比阻⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图楦械氖游蛔琛图籰镆羟肆扯鞒掏肌浙江大学硕上学位论文幽目录
表目录音素分类表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.一般特征情感识别结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.差分特征情感识别结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.基于视位的音素归类表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.表浙江大学硕士学位论文
泓~名目互湾至于事签字日期:么年‘月午日年挛缛浙江大学研究生学位论文独创性声明学位论文版权使用授权书镌果,也不包含为获得逝’江盘鲎或其他教育机构的学位或证书而使用过的材料。与我一本学位论文作者完全了解逝鎏盘堂论文的复印件和磁盘,允许论文被查阅和借阅。本人授权一滥至三盘生可以将学位论文的本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。签字目期:乙娟有权保留并向国家有关部门或机构送交本全部或部分内容编入有关数据库进行检索和传播,可以采用影印、缩印或扫描等复制手段.●\除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名:保存、汇编学位论文。C艿难宦畚脑诮饷芎笫视帽臼谌ㄊ导师签名:签字阿期:瘛裉、
第滦髀研究意义果采用在识别的基础上用语音来驱动唇形和面部表情的变化,必将极大的降低游自从计算机诞生之日起,人机交互就一直是该领域的热门研究议题,无论是从人体工学的角度一次次的改进鼠标、键盘的设计,还是后来陆陆续续设计出压感笔、触摸屏等新型的交互设备,计算机科学家们一直都在追求晟为自然和便捷的交互方式,而在所有这些人机交互的中,语音交互无疑具有极大的优势,首先它更接近于人们日常生活中的交互方式,彻底解放了人们的双手,人们不用再一直端坐于电脑屏幕前;其