文档介绍：中国科学技术大学
硕士学位论文
基于网络摄像头的多视全景视频技术研究
姓名:郑迈
申请学位级别:硕士
专业:电路与系统
指导教师:郭立
20090501
摘要头的多视全景视频生成方法,并通过实验证明了该系统的可行性与实用性。首等极端情况下的视频帧配准,从而使摄像头的拍摄角度和方向灵活可调;全景作为一种方兴未艾的技术,能扩大视角、在同一时刻显示大范围场景信息,在卫星航拍、视频会议、场景监控、交通导航、虚拟现实、摄影等多种科研、商业及艺术领域具有广泛的应用前景。目前,对于静态全景图像,除少数应用中采用超广角镜头或鱼眼镜头直接拍摄外,主要采用图像拼接及融合等软件算法来实现。对于动态视频,则主要依靠特殊的硬件系统:一种方案是采用快球系统,通过快球的高速运动捕获大范围的场景,但由于旋转速度的限制,不可避免的存在盲区;另一种方案是采用配有全景镜头的专业摄像系统,但这类系统存在价格昂贵、使用复杂、无法扩展等缺陷。本文在对现有软硬件全景技术深入分析的基础上,提出一种基于网络摄像先,对全景视频所涉及的技术进行了广泛调研,并概述了本系统的基本框架。其次,分章节详细阐述了特征提取、特征匹配、实时投影及融合等主要模块的算法原理及实现细节。然后,对系统进行了甈,即系耐ㄓ眉扑优化。最后,对系统的整体性能进行了实验分析与评价。本文主要工作和特色如下:攵韵钟腥ň笆悠迪低承枰L厥庥布南拗疲岢龌谄胀ㄍ缟阆裢的多视全景视频生成方法,同时采用模块化设计,可根据需要对摄像头的数量进行调整,因此本方法具有价格低廉、使用方便、易于扩展等优点;杓屏嘶赟惴ǖ奶卣魈崛∮肫ヅ淠?椋纱砥揭啤⒋蠼嵌刃攵允硬钋榭鱿碌墓碛跋窒螅岢觥址窍咝匀诤纤惴ǎ毕嗔谏阆裢『白嬖诮洗笫硬钍保盟惴ǹ捎行П苊饩湎咝匀诤纤惴ǖ墓碛跋窒螅芯苛薌优化技术,并对系统中运算量最大的特征提取单元进行了硬件加速,从而提升了系统的处理速度。关键词:全景视频网络摄像头融合
.,,,,,甌,猳甌瑂瑅—.瑃,,瓾琲.。,瓼瑆.,..瓹,
瓺齩‘鱩瑆毗甧琒,瑃·瓺.·.·甊,,·
图表目录图本文匹配算法效果示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯目录图多视全景视频系统硬件框架示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图多视全景视频系统软件框架示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图块匹配算法示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图频域相关峰值示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图点特征提取示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图线性融合权重值变化示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图多分辨率融合效果示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图常见平面变换示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图多视全景视频系统流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图高斯金字塔及鹱炙墒疽馔肌占渚植考导觳馐疽馔肌特征向量示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图对相邻视频帧进行特征提取⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图基丁~鞯慕谱罱诔跗ヅ浣峁图基于的精确匹配结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图二路视频帧投影示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图氐虻乃咝匀诤稀图窍咝约尤ê图硬钋榭鱿滤咝匀诤嫌敕窍咝匀诤系男Ч员取
表一隚特征提取效果及数度对比⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯目录图庠毒跋咝匀诤嫌氡疚乃惴ㄐЧ员取图夷诮八咝匀诤嫌敕窍咝匀诤闲Ч员取图尘安眉羰疽馔图配置腜逑低辰峁埂图典型的图形功能管线⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图图形应用功能结构示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯与应用程序的关系⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯与应用程序及墓叵凳疽馔肌纹理格式⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图尺度空间数据存为纹理⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图纹理中的两步高斯滤波⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图局部极值检测⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图狈酵冀鹱炙墒疽馔肌图卣鞯懔斜砩墒疽馔肌图卣魑评砗头较蛭评碇刈槭疽馔肌图捎肎加速后的流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图贑的特征提取及匹配结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图贕的特征提取及匹配结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图甶实验用摄像头组⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯表实验用网络摄像头参数⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图拍摄角度存在较大差异的典型场景的合成⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯表主要处理步骤运行时间统计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯