文档介绍：第七章多媒体信息检索
Outline
多媒体信息检索的概念
基于文本的多媒体信息检索
基于内容的多媒体信息检索
基于内容的图像信息检索
基于内容的视频信息检索
基于内容的音频信息检索
1 多媒体信息检索的概念
多媒体信息的特征元数据提取、索引建库,相似度匹配运算,识别和返回用户所需信息,通过与用户之间的反馈,不断优化、调整显示结果
多媒体信息检索的主要工作流程: 内容获取、内容描述、内容操作
先对原始媒体进行处理,提取内容,然后用标准形式对它们进行描述,来支持用户对内容的操作。内容获取通过各种内容分析和处理,而获得媒体内容的过程,它包括信息分割、特征提取两个部分。信息分割分成图像分割与视频分割。内容获取核心是特征提取。特征提取就是提取内容显著的特征和人的视觉、听觉方面的感知特征来表示媒体和媒体对象的性质,特征提取有自动特征提取和人工交互或提取两种方式。
2 基于文本的多媒体信息检索
人工建立元数据标引,本质类似于纯文本信息检索
普及程度:是现行网络检索系统中的主流方式。
检索方式:信息分类、扩展名、关键词
优势:实现原理相对简单,技术成熟
劣势:具有主观性,仁者见仁、智者见智;多媒体信息的多维性,人工描述难以穷尽
Google 图片搜索、音乐搜索与视频搜索,Yahoo 音乐搜索与图片搜索,Yahoo Video Search,百度mp3、图片与视频搜索
普通搜索引擎
搜索图片、图像
格式:image:文件名
功能:检索含有指定文件名图像的所有网页。
搜索多媒体信息
格式:media: text
功能:检索文件的名字中含有指定文字的多媒体信息
3 基于内容的多媒体信息检索
Content-Based Retrieval
一种新的检索技术,是对多媒体对象的内容及上下文语义环境进行检索
原理:提取特征并进行量化,表示成向量空间,建立索引库,将用户提问转化成向量,并与已有信息的向量空间进行相似度匹配计算。
常用多媒体文件特征:
①图像:颜色、纹理及时空关系等
②视频:对象运动特征、颜色和光线变化等
③音频:时域、频域、时频、短时帧和音频特征等
普及程度:局限在较小的数据集合上,大多只是实验室研究成果
4 基于内容的图像检索
分析图像的内容
提取其颜色、形状、纹理,以及对象空间关系等信息
建立图像的特征索引
QBIC
Query By Image Content
./
IBM Almaden研究中心开发的第一个商用基于内容的图像及视频检索系统
提供对静止图像及视频信息基于内容的检索手段
系统结构及所用技术对后来的视频检索有深远的影响
Photobook
/
由MIT的媒体实验室开发研制
图像在存储时按人脸、形状或纹理特性自动分类
图像根据类别通过显著语义特征压缩编码