文档介绍：湖南师范大学
硕士学位论文
基于生成性词库分词技术的汉语拼音自动转换研究
姓名:罗万
申请学位级别:硕士
专业:语言学及应用语言学
指导教师:彭泽润
20090501
1
2
摘要本文的研究目标是为上层语言应用,比如语音输出、拼音读物排版系统、对外汉语教学等,提供一个高效率、高准确度的把汉字文本自动转换成汉语拼音的算法。算法的核心是识别汉字的多音字。我们通过研究,发现只有在词处理层面才能较好地识别多音字。因此,我们第一步的工作是进行自动分词的研究,这个研究是建立在优化和完善湖南大学罗海清的生成性词库分词技术上的。通过扩充基本语素以及对应的前加语素和后加语素、增加专业名称和成语词表等研究,大幅度地提高了分词的准确度。第二步,在自动分词的基础上,我挪杉薌字符集中所有的多音字和它们对应的词,设计算法把汉字词转换成汉语拼音词,同时在程序中还对音变进行了处理。通过不断地试验,我们最终的汉字文本转汉语拼音程序能达到%的准确度,基本满足了实际应用的需求。关键词:汉语拼音;汉语自动分词;中文信息处理;生成性词库
3
啤⑽鰉洲萨韙纍胏】嗽山籺%妇鉉酣模琲篢如鷇,目,..印,磄鵤轪甧瑆;;甌,.琾畂;
4
靴黻储麟:弘口卯夕年石肥日导师签名:勃∥冢阚日期:尸月≥日章中用明确方式标明。本人完全意识到本声明的法律结果由席叭C芸冢凇杲饷芎笫视帽臼谌ㄊ椤作者签名:芳万日期:护吁年多月年潞鲜Ψ洞笱а宦畚脑葱陨新担湖南师范大学学位论文版权使用授权书本人郑重声明:我呈交的学位论文,是本人在导师的指导下,独立进行研究工作取得的成果。除了正文中已经注明引用的内容以外,本论文不含有任何其他个人或集体已经发表或撰写过的作本学位论文作者完全了解学校有关保留、使用学位论文的规定,研究生在学校攻读学位期间论文工作的知识产权单位属于湖南师范大学。同意学校保留并且向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权湖南师范大学可以把本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于朐谙嘤Ψ娇蚰诖颉埃品成果。对本文的研究做出重要贡献的个人和集体,都已经在文槐C芸凇
5
基于擞洼僻分词技术的汉语拼音自动转换研究髀研究的内容和意义方面面可以看到和感受到《汉语拼音方案》带来的巨大影响。比如,汉语拼音对普及教育做出了重大的贡献。借助汉语拼音,识字不多的小学一二的统一,可是—直不能实现口语的统一。推广普通话据说可以追溯到清朝像技术、互联网等也起着很重要的作用。国家年公布《汉语拼音方拼音的历史功绩,相信有众多的学者已经论述。甚至有专家明确指出,“离开拼音就谈不上现代化的—切’蹙。化和拉丁化鎏氐愕暮河锸槊嫘问较低彭泽润,:河锲匆羰侵国人民在使用汉字的几千年中,经过反复摸索得到的语言现代化的成果。年月日第烊ü嗣翊泶蠡岢N裎被岬位嵋通过的《中华人民共和国国家通用语言文字法》明确了汉语拼音的法定地位,规定它是拼写汉语和给汉字注音的工具。法律规定;“国家通用语言文字以《汉语拼音方案》作为拼写和注音工具。《汉语拼音方案》是中国能使用的领域。初等教育应当进行汉语拼音教学。”汉语拼音的作用越来越大,从汉字输入法到拼音读物以及其他语言应用,汉语拼音得到了广泛地推广。到年,《汉语拼音方案》公布已经周年了。我们从社会生活的方年级学生,就可以给老师和爸爸妈妈留言了。汉语拼音也为推广普通话做出了巨大的贡献,从秦始皇统一文字开始就已经实现了文字和书面语雍正年间,但是长时期没有明显的进展。只是在最近几十年才有比较显著的成绩。这当然与经济发展水平有密切的关系,现代的广播、电视、音案》也起了重要的工具作用,拼音不仅可以帮助汉字注音,而且国际标准化组织碠娑ê河锲匆羰瞧葱春河锏墓时曜年9赜诤河汉语拼音是给汉字注音和拼写汉语的法定工具,是具有音素化、口语人名、地名和中文文献罗马字母拼写法的统一规范,并用于汉字不便或不年台湾地区也不得不采用国际通
6
集成电路懒机,又叫。当时这台国产计算机的先进之处流行的鐰珻等高级语言的命令锞都是用英语表述的。义符,例如条件语句用嘏般,觥代替近吐秂脾认嗟逼占啊直鸫怼峙设备薄ⅰ叭シ峙洹ⅰ枪程序让睢机及其用的领域’的规定。在那些既不便或不能使用汉字,也不便或不能使用英随着汉语国际地位的不断提升,各国学习汉语的人数逐年增加,在世界范围内掀起了—股‘叔语热”的飓风,对外汉语教学越来越受到重视。在用的汉语拼音郊竺鳎张喑芍鞅T谡飧龅缒源碛镅孕畔的时代输入汉语拼音的机会越来越多,特别是在中小学和幼儿语文教学,对外汉语教学砬熘辏,情报检索,汉语研究等领域中,都要输汉语拼音在计算机程序设计中也有广泛的应用价值。计算机进入中国以后,科研人员已经在计算机技术的研究和普