文档介绍：信号与信息处理专业优秀论文--多视点视频编解码和虚拟视点合成技术的研究
关键词:多视点视频编码单循环解码快速视点切换虚拟视点合成
摘要:多视点视频是当前多媒体领域的研究热点,它是一种具有立体感和交互功能的视频序列,用户在观看时可以任意改变视点或者视角,以实现对同一场景进行多方位体验。本论文面向多视点视频的交互式应用,对影响视点交互时延的编解码技术以及虚拟视点合成技术进行了研究。
论文首先对多视点视频的时间相关性和视点间相关性进行测试统计,结果表明:对于大多数视频序列,时间相关性占主导地位。并由此提出了一种具有低时延随机访问性能的多视点视频编码结构。该编码结构确定中间视点为基本视点,并将视差补偿预测用于关键帧,而对非关键帧仅进行运动补偿预测编码。
其次,论文针对非关键帧的运动补偿预测编码,根据相邻视点间运动信息具有高度相关性的原理,提出一种基于自适应运动矢量精细的Motion skip模式,该模式可得到当前编码宏块更为精细的运动信息,从而提高了编码效率。
第三,在解码端,基于Motion Skip模式的特点,论文提出了一种单循环解码技术,即对参考视点中的关键帧进行完全解码,而对非关键帧只需进行解析得到运动信息用于解码当前帧,使参考视点中的所有非关键帧都不需要进行运动补偿,从而降低了视点切换时的时延。
最后,论文在JMVM模型的基础上添加一个虚拟视点合成模块,使用户交互请求时不需要增加辅助的视频流,直接使用联合编码后的码流进行虚拟视点合;将该虚拟视点合成模块与上述提出的编解码方案相结合,虚拟视点序列同样以GOP为单位,对其中的关键帧和非关键帧运用不同的合成技术,对关键帧采用基于深度的亚像素精度绘制技术,而对非关键帧则利用视频序列的时间相关性,进行基于运动补偿的绘制技术;最后针对图像遮挡问题进行讨论并提出解决方案。论文提出的基于JMVM的虚拟视点合成技术既保证合成虚拟视点的质量又提高了其可行性和时效性。
正文内容
多视点视频是当前多媒体领域的研究热点,它是一种具有立体感和交互功能的视频序列,用户在观看时可以任意改变视点或者视角,以实现对同一场景进行多方位体验。本论文面向多视点视频的交互式应用,对影响视点交互时延的编解码技术以及虚拟视点合成技术进行了研究。
论文首先对多视点视频的时间相关性和视点间相关性进行测试统计,结果表明:对于大多数视频序列,时间相关性占主导地位。并由此提出了一种具有低时延随机访问性能的多视点视频编码结构。该编码结构确定中间视点为基本视点,并将视差补偿预测用于关键帧,而对非关键帧仅进行运动补偿预测编码。
其次,论文针对非关键帧的运动补偿预测编码,根据相邻视点间运动信息具有高度相关性的原理,提出一种基于自适应运动矢量精细的Motion skip模式,该模式可得到当前编码宏块更为精细的运动信息,从而提高了编码效率。
第三,在解码端,基于Motion Skip模式的特点,论文提出了一种单循环解码技术,即对参考视点中的关键帧进行完全解码,而对非关键帧只需进行解析得到运动信息用于解码当前帧,使参考视点中的所有非关键帧都不需要进行运动补偿,从而降低了视点切换时的时延。
最后,论文在JMVM模型的基础上添加一个虚拟视点合成模块,使用户交互请求时不需要增加辅助的视频流,直接使用联合编码后的码流进行虚拟视点合;将该虚拟视点合成模块与上述提出的编解码方案相结合,虚拟视点序列同样以GOP为单位,对其中的关键帧和非关键帧运用不同的合成技术,对关键帧采用基于深度的亚像素精度绘制技术,而对非关键帧则利用视频序列的时间相关性,进行基于运动补偿的绘制技术;最后针对图像遮挡问题进行讨论并提出解决方案。论文提出的基于JMVM的虚拟视点合成技术既保证合成虚拟视点的质量又提高了其可行性和时效性。
多视点视频是当前多媒体领域的研究热点,它是一种具有立体感和交互功能的视频序列,用户在观看时可以任意改变视点或者视角,以实现对同一场景进行多方位体验。本论文面向多视点视频的交互式应用,对影响视点交互时延的编解码技术以及虚拟视点合成技术进行了研究。
论文首先对多视点视频的时间相关性和视点间相关性进行测试统计,结果表明:对于大多数视频序列,时间相关性占主导地位。并由此提出了一种具有低时延随机访问性能的多视点视频编码结构。该编码结构确定中间视点为基本视点,并将视差补偿预测用于关键帧,而对非关键帧仅进行运动补偿预测编码。
其次,论文针对非关键帧的运动补偿预测编码,根据相邻视点间运动信息具有高度相关性的原理,提出一种基于自适应运动矢量精细的Motion skip模式,该模式可得到当前编码宏块更为精细的运动信息,从而提高了编码效率。
第三,在解码端,基于Motion Skip模式的特点,论文提出了一种单循环解码技术,即对