文档介绍：南京邮电大学
硕士学位论文
多视点视频编解码和虚拟视点合成技术的研究
姓名:郑海棠
申请学位级别:硕士
专业:信号与信息处理
指导教师:刘峰
20100401
摘要列,用户在观看时可以任意改变视点或者视角,以实现对同一场景进行多方位体验。本论最后,论文在P偷幕∩咸砑右桓鲂槟馐拥愫铣赡?椋褂没Ы换デ肭笫辈非关键帧则利用视频序列的时间相关性,进行基于运动补偿的绘制技术;最后针对图像遮关键词:多视点视频编码,单循环解码,快速视点切换,虚拟视点合成多视点视频是当前多媒体领域的研究热点,它是一种具有立体感和交互功能的视频序文面向多视点视频的交互式应用,对影响视点交互时延的编解码技术以及虚拟视点合成技术进行了研究。论文首先对多视点视频的时间相关性和视点间相关性进行测试统计,结果表明杂大多数视频序列,时间相关性占主导地位。并由此提出了一种具有低时延随机访问性能的多视点视频编码结构。该编码结构确定中间视点为基本视点,并将视差补偿预测用于关键帧,而对非关键帧仅进行运动补偿预测编码。其次,论文针对非关键帧的运动补偿预测编码,根据相邻视点间运动信息具有高度相关性的原理,提出一种基于自适应运动矢量精细的模式,该模式可得到当前编码宏块更为精细的运动信息,从而提高了编码效率。第三,在解码端,基于模式的特点,论文提出了一种单循环解码技术,即对参考视点中的关键帧进行完全解码,而对非关键帧只需进行解析得到运动信息用于解码当前帧,使参考视点中的所有非关键帧都不需要进行运动补偿,从而降低了视点切换时的时延。需要增加辅助的视频流,直接使用联合编码后的码流进行虚拟视点合;将该虚拟视点合成模块与上述提出的编解码方案相结合,虚拟视点序列同样以5ノ唬云渲械墓丶帧和非关键帧运用不同的合成技术,对关键帧采用基于深度的亚像素精度绘制技术,而对挡问题进行讨论并提出解决方案。论文提出的基于的虚拟视点合成技术既保证合成虚拟视点的质量又提高了其可行性和时效性。南京邮电大学硕士研究生学位论文摘要
..:瑃.,甌.,瑆瓵,.猙瓼南京邮电大学硕士研究生学位论文甌琲.,
南京邮电大学硕士研究生学位论文℃:’
.,、图形图像、音频、视频的过程,随着宽带网络的普及和多媒体相关技术的发展,下一代多媒体应用将朝着网络化、交互性和真实感的方向发展。目前人们已不满足于被动地接受和欣赏视听节目,而是一方面希望能够充分参与到应用中,人和计算机的关系从被动发展为主动,从而能充分实现每个人的个性化需求;另一方面则希望能获得更加真实的场景体验和感受。多视点视频是针对能实现这些需求的交互式多媒体应用提出的,其所涵盖的双目立体视频与多视点视频播放将在未来几年中实用化,它将解决交互视频的表现、交互、,图为一个多视点视频系统的应用实例示意图。多视点视频一方面作为较单视点视频提供更多信息内容和具有更多数据量的数据媒体,能够给用户提供三维的场景体验和感受,具有强烈的立体感和深度感,达到逼真的效果,使用户仿佛置身于场景中;另一方面,多视点视频能够提供与场景的交互能力,用户可以自己选择在场景中的视点,如在体育比赛中,有多个摄像机从不同视点同步拍摄,通过计算机的合成,用户可以在一定范围内从任意一个角度观看,同时可以实现视点的自由切换。组织在上世纪的九十年代末提出了多视点视频的设想,在年月探索性草案中提出了音视频标准,并组建了专门负责三维视频和音频技术研究的研究小组他们针对视频技术研究进行探索实验,分别面向全景视频、交互式立体视频、交互式多视点视频等视频研究方向,涵盖了如通信、教育、医疗、探险、观光、娱乐和监视等多媒体应用领域【啤南京邮电大学硕士研究生学位论文第一章绪论
电视//约叭我馐拥闶悠担我馐拥愕缡觙,/∞】。:全景视频、视频/点的移动,蚩梢晕9劭凑咛峁┏渥愕纳疃雀小⒘⑻甯校沟霉劭凑呖梢陨钋体验视频的真实感,而籼黵墓劭凑卟皇潜欢亟邮帐悠敌畔ⅲ悄芄蝗我獾选择视点和视角来观看视频,它支持视点的自由切换。ň笆悠全景视频也称为沉浸式视频,是二维图像平面到球行或圆柱形图像平面的扩展嘲。普通的二维视频只反应了全景视频的某个局部,难以使人产生身临其境的沉浸感,而全景视频由多个摄像机对同一视点周围的场景进行采集处理,其摄像机排列如图所示。任何方向的二维场景都可以由这些采集的图像绘制出来。利用全景视频可以建立起提供用户观察的虚拟环境,用户可以实现对各个视点的浏览以及单个视点上的移动,从而通过不同视点和方向了解环境和全部场景。全景视频可以应用于广播、存储缭谝桓和交互式