文档介绍：第三章无失真信源编码
第一节编码的定义
第二节定长编码定理
第三节变长编码定理
第四节最佳编码
引言
引言
编码分为信源编码和信道编码,其中信源编码又分为无失真信源编码和限失真信源编码。
无失真信源编码:适用于离散信源或数字信号。
限失真信源编码:主要用于连续信源或模拟信号,如语音、图像等信号的数字处理。
香农信息论三大定理:
1. 第一极限定理:无失真信源编码定理.
第二极限定理: 信道编码定理(包括离
散和连续信道).
3. 第三极限定理: 限失真信源编码定理.
信源编码的主要任务是什么?
由于信源符号之间存在分布不均匀和相关性,使得信源存在冗余度,信源编码的主要任务就是减少冗余,提高编码效率。具体说,就是针对信源输出符号序列的统计特性,寻找一定的方法把信源输出符号序列变换为最短的码字序列。
信源编码的基本途径是什么?
信源编码的基本途径有两个,一是使序列中的各个符号尽可能地互相独立,即解除相关性;二是使编码中各个符号出现的概率尽可能地相等,即概率均匀化。
信源编码的基础是什么?
信源编码的基础是:两个编码定理,即无失真编码定理和限失真编码定理。
编码定理证明:
(1)必存在一种编码方法,使代码的平均长度可任意接近但不能低于符号熵
(2)达到这目标的途径,就是使概率与码长匹配。
说明:
(1)无失真编码或可逆编码只适用于离散信源。
(2)对于连续信源,编成代码后就无法无失真地恢复原来的连续值,因为后者的取值可有无限多个。此时只能根据限失真编码定理进行限失真编码。
什么分组码?
设: 信源消息为符号序列Xi, ,
序列中的每个符号取自于符号集A,
。而每个符号序列Xi依照固
定的码表映射成一个码字Yi,这样的码称为分组
码,有时也叫块码。只有分组码才有对应的码表,
而非分组码中则不存在码表。
第一节编码的定义
信源编码器
L长序列
K长码字
图3-1-1 信源编码器
设: 信源输出的序列长度为1,即信源符号集
信源概率空间为:
二元信道的信道基本符号集为{0,1}。若将信源
X通过一个二元信道传输,就必须把信源符号xi
变换成由0,1符号组成的码符号序列,即编码。
可用不同的码符号序列,如表3-11所示。
见书(P35)
分组码的一些直观属性
分组码的一些直观属性
码
{
非分组码
分组码
{
奇异码
非奇异码
{
非唯一可译码
唯一可译码
{
非即时码
即时码(非延长码)
码树图
A
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
1
1
1
1
1
1
1
0
1
1
1
1
1
二进制码树
2
0
0
0
0
0
1
1
1
1
1
2
2
2
2
2
三进制码树