文档介绍：基于内容的视频拷贝检测技术牛晓 14050019 一、背景随着互联网技术和多媒体技术的飞速发展, 人们获取信息的途径也从单一依靠传统的纸质文本发展到现在多元化的电子文档、图像、音频和视频, 网络用户每天都会上传数量惊人的图像、音频、视频到互联网上。视频具有直接生动的特点并涵盖了比图像和音频更丰富的内容信息, 从而成为了目前人们最热衷的信息获取途径。人们可以通过一些数字视频处理工具对视频进行编辑和修改并产生一些拷贝视频。这些拷贝视频发布到互联网上之后, 会导致用户在进行视频搜索时得到很多内容相似甚至相同的视频, 这不仅会极大的降低检索的效率, 同时也可能侵犯了版权人的合法权益。因而如何从网络上大量的视频中准确地检索出拷贝视频已经成为目前数字版权保护领域急需解决的难题。为了解决上述难题,基于内容的视频拷贝检测技术( CBCD )成为目前研究的热点。二、概念描述视频拷贝的定义:一个视频或者其片段在经过某些编辑处理后, 得到的内容相同但视觉外观( 如亮度、格式) 不完全一致的同源视频版本。拷贝视频的主要内容和原始视频大体相同, 但仍有一些内容或格式上的差别, 主要的视频拷贝处理方法有如下几种: 1. 视频格式的变化: 对原始视频的存储格式进行更改以满足不同的需要, 主要的视频格式有 MPEG 、 AVI 、 WMV 、 RM 等。 2. 对位率、帧率、帧大小进行处理: 对原始视频进行重新压缩, 得到了改变质量效果的拷贝视频。 3. 空间域操作: 对原始视频的内容进行处理, 常用的有加入噪声、改变对比度、剪切、翻转、加入边框、加入字幕、插入画中画等处理。图1 给出了一些基于空间域拷贝处理的例子。 4. 时间域操作: 对原始视频中图像帧按时间顺序进行处理, 常用的有按时间顺序翻转、丢帧、插帧等。图1视频拷贝处理的例子视频拷贝检测的定义: 给定一个查询视频和已知的大规模源视频数据库, 拷贝检测指的是通过将查询视频的特征与库中视频做匹配,判断此查询视频是否包含数据库中的某个源视频的内容, 即判断查询视频是否是库中某源视频的拷贝。三、体系框架一个典型的基于内容的视频拷贝检测系统由四个模块组成: 参考视频库特征提取, 查询视频特征提取, 特征匹配, 拷贝结果判决。 1. 参考视频库特征提取: 首先对参考视频进行特征提取, 提取出可以表示该视频内容信息的特征序列, 并将其保存到参考特征库中; 2. 查询视频特征提取: 对于一个查询视频, 采用与参考视频特征相同的特征提取方法提取特征序列; 3. 特征匹配: 计算查询视频特征序列与参考视频特征序列之间的距离或两者之间的相似度; 4. 拷贝结果判决: 将査询视频和参考视频特征序列之间的距离或相似度与某个事先设定的域值进行比较, 通过比较结果来判断查询视频是否是参考视频的拷贝视频。由于视频中图像的数量过于庞大, 对每一帧图像都进行特征提取和特征匹配是不切实际的, 因而目前基于内容的视频拷贝检测系统都选取视频中一部分图像进行处理。视频是由一系列镜头所组成, 同一镜头内的图像内容相近, 因而可以从这些图像中选择具有代表性的一帧或几帧作为该镜头的关键帧。目前基于关键帧的视频拷贝检测系统的框架一般可以分成四个部分: 镜头分割、关键帧提取、特征提取、特征匹配, 如图 2 所示: 图2基于内容的视频拷贝检测系统的一般框架图检测系统首先对查询视频和参考视频进行镜头分割和关键帧提取, 然后对关键帧进行特征提取, 最后对特征序列进行匹配从而判定拷贝结果。四、镜头分割技术镜头分割技术首先检测出视频内容发生明显变化的帧位置, 然后根据内容变化的位置将视频分割为不同的镜头。基本方法是首先从视频的每帧图像中提取出某种特征, 接着比较相邻两帧之间特征值的相似度, 最后将两帧之间的相似度与阈值进行比较。若相似度小于该阈值, 则认为该相邻两帧属于两个不同的镜头, 并认为该处镜头边界为镜头切变点; 反之则认为此相邻两帧属于同一个镜头。下面是几种常用的镜头分割技术: 1. 像素比较法: 主要是对视频帧图像底层进行处理, 包括灰度值、亮度值或颜色值。其计算复杂度较低, 原理是计算相邻两帧之间对应像素的灰度( 亮度) 的变化情况来判断是否发生镜头变换。若相邻两帧的距离大于某一设定阈值, 则判定镜头发生切换。该方法优点是原理简单、便于实现, 缺点是对于摄像机及镜头内运动物体、光线条件的剧烈变化比较敏感, 容易出现误检。 2. 块匹配似然比法: 块匹配似然比法利用图像的局部特性降低了对物体和摄像机运动的敏感性, 增强了其鲁棒性。首先将图像分成 N 个子块, 然后计算第n 帧和第 n+1 帧对应块的相似比 S, 首先计算所有子块的相似比, 然后统计出相似比大于域值 T 的块数。若发生变化的块数多于事先设置的阈值, 则认为这两帧之间发生切换。相对于像素