文档介绍：第卷年月期计算机技术与发展..
.
语义相似度的计算方法研究与分析
魏凯斌,冉延平,余牛
天水师范学院,甘肃天水
摘要:语义相似度计算在信息检索、信息抽取、文本分类、词义排歧、基于实例的机器翻译等很多领域中都有广泛的应
用特别是近几十年来随着技术的高速发展,语义相似度计算成为自然语言处理和信息检索研究的重要组成部
分。介绍了几种典型的语义相似度的计算方法,总结了语义相似度计算的两类策略,其中重点介绍了一种基于树状结构
中语义词典的语义相似度计算方法,最后对两类主要策略进行了简单的比较。
关键词:语义相似度;语义距离;知网;语料库
中图分类号:们. 文献标识码: 文章编号:———

—,—,
,,
:,,,
。—.
。·
.. ,
。。
.
: ; ;:
引言在这方面的研究做了很多开创性的工作,李峰【、李
语义相似度计算研究的是用什么样的方法来计算鹏、李、杨哲、夏天、张明宝等后来者做
或比较两个词语的相似性。自然语言的词语之间有着了很多补充性和改进性的工作。针对以上研究现状,
非常复杂的关系,在实际应用中,有时需要把这种复杂笔者对当前的语义相似度研究成果进行了简单的归纳
的关系用一种简单的数量来度量,而语义相似度就是和总结,然后对相关方法进行了简单比较,并提出了研
其中的一种。究的应用方向,以供相关研究人员参考和应用。
词语的语义相似度计算主要有两种方法:一类是
通过语义词典,把有关词语的概念组织在一个树形的语义相似度
结构中来计算;另一类主要是通过词语上下文的信息, 认为任何两个词语的相似度取决于它
运用统计的方法进行求解。对于前一类基于树状层次们的共性和个性,然后从
结构的计算语义相似度方法的研究已经比较成熟,国信息论的角度给出了定义公式:
,
外的,.等都给出了自己
。,
的比较合理的语义相似度计算公式和方法;国内这方
其中,分子表示描述,共性所需要的信息量;
面起步较晚,但发展很快,董振东、刘群、李素建等
分母表示完整地描述,所需要的信息量。
刘群、李素建以基于实例的机器翻译为背景,
收稿日期:—一;修回日期:——
基金项目:甘肃省教育科研项目—认为语义相似度就是两个词语在不同的上下文中可以
作者简介:魏凯斌一,男,甘肃天水人,讲师,硕士,主要研究互相替换使用而不改变文本的句法语义结构的程度。
方向为智能信息系统、人工智能。两个词语,如果在不同的上下文中可以互相替换且不
第期魏凯斌等:语义相似度的计算方法研究与分析· ·
改变文本的句法语义结构的可能性越大,二者的相似用连接这两个概念之问的最短路径来表示。例如,在
度就越高,否则相似度就越低。图取自本体中的一小部分中,和
对于两个词语, 如果记其相似度为之间的最短路径是————
,,其词语距离为,,根据刘群、李,最小路径长度为。而和之间的最小
素建的公式: 路径长度为。因此,比在语义上更接近于
。该测度算法在基于的语义网中获得了
,
较好的计算结果。
其中是一个可调节的参数。的含义是:当相似
。
词语距离和词语相似度是一对词语的相同关系特, \ \
,