文档介绍：最佳信源编码
1. 香农编码
2. 费诺编码
3. 哈夫曼编码
11/10/2017
1
电信学院汪汉新
本章节教学内容、基本要求、重点与难点
1. 教学内容:
信源编码的概念。
三种最佳的信源编码。
2. 教学基本要求:
掌握香农编码。
掌握费诺编码。
掌握哈夫曼编码。
3. 重点与难点:
信息率,平均码长和编码效率的计算。
多进制哈夫曼编码。
11/10/2017
2
电信学院汪汉新
引言
香农编码定理虽然指出了理想编码器的存在性,但是并没有给出实用码的结构及构造方法;
编码理论正是为了解决这一问题而发展起来的科学理论;
编码的目的是为了优化通信系统,使通信系统的性能指标有效性、可靠性、安全性和经济性达到最佳;
按不同的编码目的,编码分为三类:信源编码、信道编码和安全编码(加密编码)。
11/10/2017
3
电信学院汪汉新
信源编码:提高通信有效性。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的传输率(码率)。即同样多的信息用较少的信息率来传送,使单位时间内传送的平均信息量增加,从而提高通信的有效性。
信道编码:提高信息传输的可靠性。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源编码正好相反。
加密编码:提高通信系统的安全性。通常通过加密和解密来实现。从信息论的观点出发,“加密”可视为增熵的过程,“解密”可视为减熵的过程。
11/10/2017
4
电信学院汪汉新
信源编码
信源编码理论是信息论的一个重要分支,其理论基础是信源编码的两个定理。
无失真信源编码定理:是离散信源/数字信号编码的基础;
限失真信源编码定理:是连续信源/模拟信号编码的基础。
信源编码的分类:
离散信源编码:可做到无失真编码;
连续信源编码:只能做到限失真信源编码;
有些编码原理在通信原理和信号处理等相关课程中已经介绍过。例如:
连续信源编码:脉冲编码调制(PCM);
预测编码:增量编码、差分脉冲调制(DPCM)、自适应差分脉冲调制(ADPCM);
变换编码:DCT、Wavelet、 Walsh和Hadamard变换。
11/10/2017
5
电信学院汪汉新
信源的原始信号绝大多数是模拟信号,因此,信源编码的第一个任务是模拟和数字的变换,即:A/D,D/A。
抽样率取决于原始信号的带宽:fc = 2 w,w为信号带宽。
抽样点的比特数取决于经编译码后的信号质量要求:
SNR = 6 L(dB),L为量化位数
但是,由于传输信道带宽的限制,又由于原始信源的信号具有很强的相关性,则信源编码不是简单的A/D,D/A,而是要进行压缩。为通信传输而进行信源编码,主要就是压缩编码。
信源编码要考虑的因素:
发信源的统计特性。
传输信道引入的损伤,如误码。
受信者的质量要求。
信源编码概述
11/10/2017
6
电信学院汪汉新
信源编码定理:对于给定的失真率D,总可以找到一种信源编码方法,只要信源速率R大于R(D),就可以在平均失真任意接近D的条件下实现波形重建。
说明1:R(D)称为率失真函数,它是单调非增函数,速率越高,平均失真越小。
说明2:为了保证在一定速率下的失真,必需采用信源编码,因而会引入编码延时。
信道编码定理:如果信源速率R小于信道容量C,总可以找到一种信道编码方法,使得信源信息可以在有噪声信道上进行无差错传输,即:R C,无差错传输条件
说明1:信道容量C可根据香农定理得到C = Wlog2(1+S/N)
说明2:为了保证无差错传输,必需采用信道编码,因而会引入编码延时。
编码理论
11/10/2017
7
电信学院汪汉新
信息传输定理:
将信源编码定理和信道编码定理综合,就得到信息传输定理。即:为保证无差错传输及失真度,必需满足:C R(D)
说明1:在一般数字通信系统中,信源编码和信道编码可以分开考虑。信道编码定理给出无差错的速率上限,信源编码定理给出无失真的速率下限。
说明2:为了实现理想性能,都要付出延时的代价。
11/10/2017
8
电信学院汪汉新
速率:高速率、中速率、低速率
压缩比
质量:客观评价
主观评价
延时:质量和延时的关系
不同业务对延时的要求
复杂性:算法的复杂性及软硬件实现的复杂性
信源编码的性能指标
11/10/2017
9
电信学院汪汉新
波形编码:将波形直接变换成数字码流。
特点:比特率较高、解码后质量较高、延时较小。可以分为:时域波形编码,如PCM、ADPCM、M等;频域波形编码,如:子带编码(SBC)、自适应变换编码(ATC)等。
参数编码:从信源信号的某个域中提取特征参数,并变换成数字码流。