文档介绍：维普资讯
性能评价研究:现状与建议
:
袁顺波
嘉兴学院商学院嘉兴
摘要性能评价是—的一个重要方面,通过建立性能评价标准,可以有力
地推动图像检索技术的良性发展。对性能评价研究现状的分析,提出从建立通用的标准测试数据集、综合利用
各种相关性判断方法、建立通用的评价框架等角度来优化性能评价。
关键词性能评价基于内容的图像检索图像检索信息检索
在多媒体技术和用户图像检索需求等因素的多重推动下。
一
技术日趋成熟,众多商用和科研图像检索系统相继问世, ■——丽
如美国公司开发的、哥伦比亚大学的等。‘而
因此,建立方便、合理、有效的评价方法,评价系统的检索
三∑一

性能,从而方便用户快捷、准确地获取所需图像信息就显得尤一而
为重要。其中, 为检索结果中的子图像数目, 是检索结果中与
查询图像相关的子图像数目, 是第幅相关子图像的排序。
性能评价研究现状
检准率用以反映检索的准确度,检全率用以反映检索结果
性能评价是中的一个关键问题,目前已有学者针对的全面性,因此可以用检全率和检准率来评价的有效性。
的性能评价提出了多种方法。如检准率和检全率、检索但是,此方法也存在一定缺陷:.高检准率和高检全率并不与
有效性、检索评分法、匹配百分比方法、系数方法、目标查询系统的检索性能成绝对的正比例关系,这是因为,在此方法中,
成功率等方法。下面就对目前几种主要的性能评价方法没有考虑相关图像在检索结果中所处的位置,如果在检索结果
进行介绍和简评。中,相关图像反而排在不相关图像的后面,即使检全率和检准
. 检准率和检全率评价检索系统率高也不能说明此系统具有较好的检索性能;.在系统
中,检全率会很低,用检全率和检准率来评价系统的性能
性能最常用的指标就是检准率和检全率。对于用户来说,检索
是否合适还有待验证。
系统应该为用户检索出尽可能多的相关信息,同时还要尽量减
. 检索有效性检索的有效性可
少不相关信息的检出数量。检准率和检全率最初用来评价文
以反映一个系统为用户检索出相关图像的有效性,因此也可以
本检索系统,现在已经被越来越多地使用在性能评价当
成为评价系统性能的一个指标。定义检
中。如等就利用检准率和检全率对进行评
索有效性为:
价】。中的检准率和检全率如图所示。
∑
:检索结果集
其中表示检索前预测的与示例图像相关的图像数量,
;检索结果中的相关图像集
表示在检索结果中这些图像的排列序号, 的值越小,说明
:相关图像集
系统的性能越好。
检索有效性比较符合人们的逻辑思维,简单、容易实现。
图检准率和检全搴关系示意图
当然该方法也存在着一定的不足,如果两个检索结果得出的检
则检准率/,检全率/,误
索效率相同,则无法判断性能的优劣并且,检索有效性只是
检率/。性能评价中的一个方面,有效性高并不一定代表性能优
针对部分检索结果,—等人提出检准率越。
和标准检全率,其定义如下: . 错配法等人针对基于形
作者简介:袁顺波,男,年生,硕士,助教,研究方向为图像信息资源管理、企业知识管理。
囹
维普资讯
状的医学图像检索系统,提出错配法,分别赋予基准检