文档介绍：第5章信源编码
教学内容和要求
理解无失真信源编码定理,理解异前置码
掌握香农码
掌握费诺码
掌握赫夫曼码
11/15/2017
一、无失真信源编码定理与异前置码
1、无失真信源编码定理
定理
N次扩展信源的熵率为H(X),对扩展信源进行二进制编码,设K为码长,对任意给定的ε> 0,只要码率
N足够大时,该编码为无失真编码
11/15/2017
如果码率
无论N多大,该编码也一定失真
无失真信源编码定理也叫香农第一定理,定理表明了扩展信源无失真编码的存在性,明确了熵率H(X)是无失真编码的码率下界——香农界
11/15/2017
2、编码效率
定义
扩展信源无失真编码的编码效率
从提高传输效率的角度,码率越接近熵率越好
11/15/2017
无失真信源编码及编码效率
信源的熵率
例1
11/15/2017
无失真编码1——等长码
码长K=2(bit)
11/15/2017
二次扩展信源
11/15/2017
码长K=4(bit)
11/15/2017
等长码的码率为整数,熵率为小数情况下编码效率不可能提高
不等长码的平均码长和码率才可能为小数
无失真编码2——一种不等长编码
11/15/2017