文档介绍：湖南大学
硕士学位论文
基于图像码流的视频混合器的设计与实现
姓名:徐梦溪
申请学位级别:硕士
专业:软件工程
指导教师:杨贯中;杨志新
20070510
工程硕士学位论文
摘要
视频混合器为视频会议的参与者提供多画面视频合成的服务,是视频会议系
统中的一个关键组成部分。一直以来,视频混合器一般由专用硬件来实现。本文
针对带宽及服务器资源受限的中低端应用场景,设计并实现了一种软件化的视频
混合器,并对其性能进行了测试。
在对资源受限的应用场景的需求分析的基础上,本文提出了基于图像码流的
软件视频混合系统的框架。本文提出的视频混合系统框架主要由混合器、帧同步
器和传输控制模块三个部分组成。在混合器中,通过对图像码流的特征字节的提
取获取图像的属性以及图像的熵编码字节流,并以图像片拼接的方式完成多画面
视频的组合。避免了在服务器端对图像的编解码操作,以此减轻服务器的计算负
担;在帧同步器中,通过对接收到的RTP报文中的时间戳信息对不同发送者的视
频画面进行同步;在传输控制模块中,使用冗余编码对视频流进行保护,在发生
丢包的时候采用后一分组中的冗余信息对前一分组进行恢复。
在实现部分,本文首先描述了图像预处理过程,给出了通过JPEG2000码流
截断操作修改输入图像分辨率的方法和通过特征提取获得的图像码流类的结构;
然后在图像片拼接部分,给出了通过画布尺寸计算、图像片索引计算和负载合成
操作拼接图像片的流程;最后描述了通过RTP发送和接收视频数据的过程。
本文通过使用Java Media Framework提供的应用程序接口对基于码流的视频
混合器进行了实现,并在当前主流配置的服务器平台下对其性能进行了测试。测
试结果表明,基于码流的视频混合器在处理视频混合任务时能以较低的CPU的占
用率完成视频混合任务,取得了较好的效果。

关键词:视频会议;视频混合器;JPEG2000码流;多画面视频合成

I
基于图像码流的视频混合器设计与实现
Abstract
Video Mixer, which provides multiple-video-posing service for
conference participants, is a crucial part in video conference system. For long, Video
Mixers are used to be implemented by specific hardware. But high prices of
hardware hinder the popularization of video conference system. Therefore, to
implement video conference system in pure soft solution could be the future.
According to bandwidth and server resource limitation in low-end application
circumstance, this paper presents a design and implementation of a soft video mixer,
and so as its performance tests.
Basing on requirement analysis in resource limited application circumstance,
this paper proposes the framework of an image code stream based soft video mixer,
which is mainly consisted with mixer, frame synchronizer, transmission control
module three parts. The mixer catches image properties and image entropy coding
byte stream through extracting attribute bytes from image code stream, and then
completes multi-bination by splicing image tiles. That avoids server’s
image coding-decoding oper