文档介绍：SCIENTIFIC SOLUTIONS 武汉大学信息管理学院黄如花第七章多媒体信息检索 SCIENTIFIC SOLUTIONS 武汉大学信息管理学院黄如花 Outline ?多媒体信息检索的概念?基于文本的多媒体信息检索?基于内容的多媒体信息检索?基于内容的图像信息检索?基于内容的视频信息检索?基于内容的音频信息检索 SCIENTIFIC SOLUTIONS 武汉大学信息管理学院黄如花 1 多媒体信息检索的概念?多媒体信息的特征元数据提取、索引建库,相似度匹配运算,识别和返回用户所需信息, 通过与用户之间的反馈,不断优化、调整显示结果?多媒体信息检索的主要工作流程: 内容获取、内容描述、内容操作?先对原始媒体进行处理,提取内容,然后用标准形式对它们进行描述, 来支持用户对内容的操作。内容获取通过各种内容分析和处理,而获得媒体内容的过程,它包括信息分割、特征提取两个部分。信息分割分成图像分割与视频分割。内容获取核心是特征提取。特征提取就是提取内容显著的特征和人的视觉、听觉方面的感知特征来表示媒体和媒体对象的性质,特征提取有自动特征提取和人工交互或提取两种方式。 SCIENTIFIC SOLUTIONS 武汉大学信息管理学院黄如花 2 基于文本的多媒体信息检索?人工建立元数据标引, 本质类似于纯文本信息检索本质类似于纯文本信息检索??普及程度: 普及程度: 是现行网络检索系统中的主流方式。??检索方式: 检索方式: 信息分类、扩展名、关键词??优势:实现原理相对简单,技术成熟优势:实现原理相对简单,技术成熟??劣势:具有主观性,仁者见仁、智者见智;多媒体信息的多劣势:具有主观性,仁者见仁、智者见智;多媒体信息的多维性,人工描述难以穷尽维性,人工描述难以穷尽?? Google Google 图片搜索、音乐搜索与视频搜索, 图片搜索、音乐搜索与视频搜索, Yahoo Yahoo 音乐搜索音乐搜索与图片搜索, 与图片搜索, Yahoo Video Search Yahoo Video Search , ,百度百度 mp3 mp3 、图片与视频搜、图片与视频搜索索 SCIENTIFIC SOLUTIONS 武汉大学信息管理学院黄如花普通搜索引擎?搜索图片、图像?格式: image: 文件名?功能:检索含有指定文件名图像的所有网页。?搜索多媒体信息?格式: media: text ?功能:检索文件的名字中含有指定文字的多媒体信息 SCIENTIFIC SOLUTIONS 武汉大学信息管理学院黄如花 3 基于内容的多媒体信息检索? Content-Based Retrieval ?一种新的检索技术,是对多媒体对象的内容及上下文语义环境进行检索??原理:提取原理:提取特征并进行量化,表示成向量空间,建立索引库,将用户提问转化成向量,并与已有信息的向量空间进行相似度匹配计算。??常用多媒体文件特征: 常用多媒体文件特征: ①①图像: 图像: 颜色、纹理及时空关系等②②视频: 视频: 对象运动特征、颜色和光线变化等③③音频: 音频: 时域、频域、时频、短时帧和音频特征等特征等??普及程度: 普及程度: 局限在较小的数据集合上,大多只是实验室研究成果 SCIENTIFIC SOLUTIONS 武汉大学信息管理学院黄如花 4 基于内容的图像检索?分析图像的内容?提取其颜色、形状、纹理,以及对象空间关系等信息?建立图像的特征索引 SCIENTIFIC SOLUTIONS 武汉大学信息管理学院黄如花 QBIC ? Query By Image Content ?./ ? IBM Almaden 研究中心开发的第一个商用基于内容的图像及视频检索系统?提供对静止图像及视频信息基于内容的检索手段?系统结构及所用技术对后来的视频检索有深远的影响 SCIENTIFIC SOLUTIONS 武汉大学信息管理学院黄如花 SCIENTIFIC SOLUTIONS 武汉大学信息管理学院黄如花 Photobook ? / ?由 MIT 的媒体实验室开发研制?图像在存储时按人脸、形状或纹理特性自动分类?图像根据类别通过显著语义特征压缩编码