文档介绍：无失真信源编码
11/10/2017
1
电信学院汪汉新
本章节教学内容、基本要求、重点与难点
1. 教学内容:
信源编码的概念。
无失真信源编码定理。
2. 教学基本要求:
了解信源编码的概念。
掌握等长编码定理和变长编码定理。

3. 重点与难点:
等长编码定理。
变长编码定理。
11/10/2017
2
电信学院汪汉新
为什么要进行信源编码
信源的两个重要问题
信源输出的信息量计算问题;
如何更有效地表示信源输出的问题。
为什么要进行信源编码
无失真传送,首先要对信源无差错编码;
对离散平稳信源, 理论上只要有传送H∞的手段,就能把信源包含的信息全部发送出去。但实际上确定H∞非常困难,只好用实际信源熵Hm来近似。而Hm>H∞,所以在传输手段上必然存在冗余,即造成一定的浪费,这种浪费是由信源符号的相关性引起的。
信源编码正是通过减少或消除信源的冗余度来提高通信效率。
11/10/2017
3
电信学院汪汉新
信源编码的概念
信源编码定义:指定能够满足信道特性/适合于信道传输的符号序列/码序列,来代表信源输出的消息。
完成编码功能的器件称为编码器。
离散信源输出的码序列
离散信源输出的消息是由一个个离散符号组成的随机序列
X=(X1X2…Xl…XL) Xl∈{x1,x2,…,xi,…xn}
信源编码就是把信源输出的随机符号序列变成码序列
Y=(Y1Y2…Yk…YK) Yk∈{y1,y2,…,yj,…ym}
11/10/2017
4
电信学院汪汉新
研究信源编码时,将信道编码和译码看成是信道的一部分,而突出信源编码;
研究信道编码时,将信源编码和译码看成是信源和信宿的一部分,而突出信道编码。
11/10/2017
5
电信学院汪汉新
讨论无失真信源编码可以先不考虑抗干扰问题,所以它的数学模型比较简单,。
11/10/2017
6
电信学院汪汉新
码符号/码元:编码器的输入是信源符号{X1,X2,…,Xi,…Xn} ,输出符号{Y1,Y2,…,Yj,…Ym},一般元素Yj是适合信道传输的,称为码符号/码元。
编码器功能:将信源符号集内的符号(或者长为L的信源符号序列)变换成由Yj(j=1,2, …,m)组成的长度为ki的序列。
码字:码符号序列Y=(Y1Y2…Yk…Yki)称为码字。
码长/码字长度: ki称为码字长度或简称码长。

编码就是从信源符号到码符号的一种映射。若要实现无失真编码,这种映射必须是一一对应的,可逆的。
11/10/2017
7
电信学院汪汉新
一些码的定义
二元码:符号集为X={0,1},所得码字Y 都是一些二元序列。
定长码/等长码:一组码中所有码字的码长都相同,即ki=K(i=1,2,…,n)。
变长码:一组码字中至少有两个码字的码长不相同。
非奇异码:一组码字中所有码字都不相同,即所有信源符号影射到不同的码符号序列。
奇异码:一组码中有相同的码字。
惟一可译码:码的任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号。
11/10/2017
8
电信学院汪汉新
有时消息太多,不可能或者没必要给每个消息都分配一个码字;
给多少消息分配码字可以做到几乎无失真译码?
传送码字需要一定的信息率,码字越多,所需的信息率越大。编多少码字的问题可以转化为对信息率大小要求的问题;
信息率R的定义:平均传输一个信源符号所需要的码字的最大信息量的大小。R=(Klog2m)/L
信息率越小越好,最小能小到多少才能做到无失真译码呢?这些问题就是信源编码定理要研究的问题。
码字与信息率的关系
11/10/2017
9
电信学院汪汉新
信源编码的方法
信源编码有定长和变长两种方法。
定长编码:码字长度K是固定的,相应的编码定理称为定长信源编码定理,是寻求最小K值的编码方法。
变长编码:K是变值,相应的编码定理称为变长编码定理。这里的K值最小意味着数学期望最小。
11/10/2017
10
电信学院汪汉新