1 / 48
文档名称:

【硕士论文】受限语境下文本语义相似度计算研究及应用.pdf

格式:pdf   页数:48页
下载后只包含 1 个 PDF 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

【硕士论文】受限语境下文本语义相似度计算研究及应用.pdf

上传人:phl0420371 2012/5/11 文件大小:0 KB

下载得到文件列表

【硕士论文】受限语境下文本语义相似度计算研究及应用.pdf

文档介绍

文档介绍:摘要
考试制度是我国现行教育体制和各类评审选拔中的一个重要环节。文字类考试题分为客
观和主观题。客观题的考后判分可以用计算机实现,主观题尚无法有效地通过计算机进行评
判,有必要研究用计算机进行主观题判分的方法,以节省教师工作量。
开发计算机自动评分系统的关键是找到衡量多个文本间语义相似程度的方法,本文研究
了受限语境下中文文本语义相似度计算,提出一种文本语义形式化表示方法一语片表示
法,主要内容如下方面。
攵源诚蛄靠占淠P语义表示法中采用关键词特征项的不足。在组块
概念的基础上,对其进行扩展,提出语片的方法,语片结构为“关键词绞舸省薄4永砺
的可行性和技术的必要性对语片的可用性进行了论证。将语片与关键词、组块等概念作比较,
给出语片区别于它们的地方,并指出语片的特点和优势。用语片表示文本特征项,用于表示
文本语义。建立文本语义的向量空间模型表示形式,用语片的绝对词频作特征项权值,采用
向量夹角余弦法计算文本间的语义相似度。
凇恫僮飨低场妨煊蛭谋居锪峡猓ü扑懔礁龃手涞幕バ畔⒘浚秆〕龇
合阈值条件的词语,借助于二元语法规则,建立受限语境下两个词之间的相关度数据库,用
于确定附属词。
⒘税霰晔斗闹形拇视锎市员昙羌霰晔斗男榇蚀市员
记集、包含龃视锏耐S么柿斜砗桶个词语的中文同义词词典,分别用于分词、
标注词性、剔除高频虚词与停用词和同义词处理等中文文本处理环节。
实现了操作系统纬讨鞴厶庾远蟹窒低场贰6菔跃斫邢低匙远蟹趾
人工判分的对比实验。系统判分正确率为.%。与国家“十五”重大科技攻关项目中的
同类系统进行了对比实验,发现系统有效性与对比系统相当.
关键词:向量空间模型,特征项。权重,语言片段。语义,相似度,考试。评分


鰏耄甇.


.
幻.


. .

吲畁

”.
痮甀

.

瑃瑄

””.

瑄琫



,
. 琾
∞· .
忙痗””


.%.

.
: 瑆琇,,


图表目录
图宕时肀嗦胧疽狻⋯⋯⋯⋯⋯⋯⋯,
图宕时肀嗦刖倮⋯⋯⋯⋯⋯⋯⋯.
图糜锲硎疚谋镜慕峁埂
图趾侠砘バ畔兄捣植颊仿省
图鞴厶庾远南低车层数据流图⋯⋯...⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.
图鞴厶庾远南低匙钪帐萘魍肌
图镆逑嗨贫燃扑愫诵哪?槭萘魍肌
图柯佳≡瘛
图低吃诵兄屑洹
图≡袷菘馕募
图参数可调⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.
图嗨贫燃扑憬峁
图低巢问傻鳌
图淌ζ婪纸峁胂低称婪纸峁谋冉稀
图员仁涑鼋峁冉稀
表疚闹形奈谋敬市员曜⒈昙羌
表视锎市浴⒋势档羌橇斜局部
表疚男榇时昙欠偶
表治谋颈硎痉椒ǖ挠拧⑷钡惚冉稀甀
表锲胱榭榈那稹
表斡牍菇ㄓ锲拇市员曜⒎
表锲楹嫌锓ü嬖颉
表使蚕只バ畔⒕卣局部
表只バ畔⒘裤兄档暮侠泶识哉仿史植肌
表低呈菘馕募焕馈畆
表闯绦蚝捌渌得鳌
表淌θ斯て婪钟胂低匙远婪纸峁冉稀
表低臣扑憬峁既仿史植肌
第一章引言
第一章引言
本章指出了本研究课题的背景情况和现实意义,介绍了国内外学者在该领域中的开展研究工作和现有
的一些研究成果。指出本文研究过程中的一些重点和难点,并对全文的结构作了综述。
课题背景
自然语言处理是计算机科学领域和人工智能科学的重要研究方向,同时也是人工智能中最为困难的问
题之一,自然语言处理可以分为自然语言理解和自然语言生成两大部分。文本分类技术的研究属于自然语
言理解的范畴,它的任务是:在给定的分类体系下根据文本内容自动确定文本关联的类别。从数学角度来
看,文本分类是一个映射的过程,它将未标明类别的文本映射到已有的类别中,该映射可以是一一映射,
也可以是一对多的映射,因为通常一篇文本可以同多个类别相关联。现在研究较多的信息检索技术就是文
本分类的应用。文本分类研究中的一个核心问题是文本间相似度计算,它通过采用数学方法对多个文本进
行计算,求得它们的相似程度.
考试制度是我国现行教育体制和各类评审选拔中的一个重要环节,通过考试,反映出考生对领域知识
的了解、理解和掌握程度。随着现代远程教育的普及,通过网络利用计算机进行考试的形式己被广泛采用。
对文字类考试,从命题的基本形态种类来分,可以分为客观题缣羁仗狻⒀≡裉狻⑴卸咸獾和主观题
缑式馐吞狻⒓虼鹛狻⒙凼鎏狻⒆、严格的标准答案,评判起来较为刻板.
考后的判分工作可以简单地用计算机程序比对考生答案和