文档介绍：东南大学
博士学位论文
基于内容的视频检索与视频摘要关键技术研究
姓名:卜庆凯
申请学位级别:博士
专业:信号与信息处理
指导教师:胡爱群
20090301
摘要随着计算机技术、多媒体技术、存储技术、网络技术的发展,数字视频得到了长足的发展和广泛的应用。从录像机到于机,无论是专业应用还是家庭消费产品,数字视频已经变得非常普遍。视频是一种具有时间及空间三维结构的数据格式,具有数据量大、蕴含信息丰富等特点,其本身常常是无组织的数据流,难以搜索与浏览,这对获取视频信息构成了严峻的挑战。为了有效地获取视频信息,基于内容的多媒体检索技术应运而生,其中最引起学者兴趣的是基于内容的视频检索。基于内容的视频检索技术对视频数据中蕴含的视觉和语义内容进行计算机处理、分析与理解,并根据内容进行检索,其本质是对视频数据内容与结构进行分析,提取视频语义信息,保证视频内容能被快速检索。由于基于内容的视频检索技术蕴含着巨大的市场前景,自上世纪九十年代以来就成为一个活跃的研究领域。经过许多年的努力,已经开发了很多搜索视频的方法,这些方法基本上都是采用计算机视觉和模式识别中的核心算法与理论。同时,为了解决多媒体内容描述的标准化问题,国际标准化组织碌腗委员会专门指定了国际标准一基于内容的视频检索包含很多方面,比如视频内容分析,结构化、索引、摘要、检索等,这些方面既独立又相关,各自也都有很多研究成果,但是从开发系统的实际角度讲,这些方面又必须综合考虑,只有这样才能开发出高效且有效的系统。本论文的研究主要集中在以下几个方面:镜头边缘检测技术。镜头是视频中最基本的结构单元。镜头边缘检测是视频分析中研究的比较早也是研究得比较成熟的一个方面。在这方面已经取得了很多可用的技术,尤其是在突变镜头边缘检测方面。对镜头边缘的检测主要是采用视频中的一些底层特征,比如颜色、纹理、边缘、形状,等等。在镜头之上的更高级的语义结构是场景,这是一个对用户更有意义的结构信息。场景比镜头表示的信息更完整,一个场景往往对应着一个事件。很多技术是通过对镜头的聚类完成场景检测的,这往往要用到一些史高级的技术,比如多模特征的集成。本文在对镜头边缘检测做了综合分析之后,提出了一种新的镜头边缘检测算法。该算法首先将视频序列中的每帧图像分割为许多块;基于这些块,计算连续两帧之间的匹配距离,最后根据自适应的阈值确定视频序列中的镜头边界。并在此基础上,提出了一种新的基于镜头的关键帧提取方法。。已有的体育视频精彩内容的提
取往往都是针对特定类型的体育视频开发的,比如针对棒球的或者足球的。这样的系统在使用范围上有很大的局限性,因为用户不可能为观看每一种类型的体育视频要单独安装一个系统。因此,通用的精彩内容提取方法是一个值得研究的课题。从我们所能够检索到的文献来看,有很多种方法来研究通用的精彩内容提取,比如基于注意力模型的方法,基于运动模型的方法。本论文从用户兴奋的角度通过提取音频和视频中的多个特征来对体育视频中的兴奋内容进行建模,从而获得体育视频的兴奋时间曲线,并基于此提出一种通用的视频摘要丶『褪悠蹈怕提取框架,同时对所提取的摘要进行有效排序。交互式体育视频事件检索方法。视频类犁的多样性和用户需求的个性化往往使得系统检索的结果无法满足用户的偏好。不同的用户通过一个系统检索同一个视频得到的结果是一样的,但是不同用户的需求迥异,因而这样的系统无法满足不同用户的具体需求。所以,一个系统在检索的时侯,必须考虑到用户的这种个性化需求。相关反馈技术是解决这个问题的一个有效办法。利用相关反馈技术可以有效地提高检索的效率,这点已经在基于内容的图像检索中得到证明。本文利用交互式遗传算法从用户那里得到反馈信息,通过与系统的不断交互实现个性化的检索。智能视频监控中的运动对象提取。基于内容的视频检索与视频摘要的研究大多数都是针对体育视频展开的,因为体育视频有更多的用户观赏,市场前景比较广阔。自从耙岳矗踩鹆烁鞴墓惴褐厥樱庵对安全的需求激发了无数学者的兴趣,人们开始研究智能的视频监控,得到的监控视频有着与一般视频不同的性质。智能视频监控里面的研究课题很多,并且都很有挑战性,比如对象的跟踪与检测、异常事件检测,等等。本文针对监控中的一个基本痷猓丛硕韵筇崛≈械囊跤耙种与消除,利用背景相减法,结合形态学图像处理技术,提出了一种有利于消除阴影的运动对象检测方法。关键词:多媒体检索,自动视频内容分析,视频检索,视频索引,镜头边缘检测,关键帧提取,特征提取,多模集成,精彩内容提取,情感建模,以用户为中心的视频检索,遗传算法,交互式视频检索,视频监控,运动对象提取,阴影检测,欧式距离东南人学博士学位论文
琣瓹,.琫,衢甀琣琣甅..琧,,甅瑂,,;.琧瑂,琒疭,,