文档介绍：
信源冗余度及信息变差
对于一般平稳的离散信源,求 H ∞值
极其困难。设其为m阶马尔可夫信源,用
m阶马尔可夫信源的平均信息熵H m+1来近
似 H ∞,有下式(见P64 )
H0 ≥H1 ≥H2 ≥L≥Hm ≥H∞

含义:信源符号之间依赖关系越强,每个符号提
供的平均信息量就越小。为此,我们引进信源
的冗余度(也叫剩余度、多余度、富余度)来
衡量信源的相关性程度。
首先,信源熵相对率(信息效率)
H ( X )
η= ∞
H 0 ( X )

定义 H 为信源的冗余度。
ξ=1−η=1−∞
H 0
信息变差I0∞= H 0 − H ∞结构信息
信源的冗余度能够很好地反映信源输出的符号
序列中符号之间依赖关系的强弱。
即冗余度越大,表示信源的实际熵 H ∞越小,表
明信源符号之间的依赖关系越强,即符号之间
的记忆长度越长;反之,……

当冗余度=0时,信源的熵=极大熵 H 0,
表明信源符号之间:
(1)统计独立无记忆;(2)各符号等概分布。
因此,冗余度可衡量信源输出的符号序列中各
符号之间的依赖程度。
例:以符号是英文字母的信源为例,英文字母加
上空格共有27个,则最大熵为
H 0 (X ) = log2 27 = / 符号

但实际上,用英文字母组成单词,再由单
词组成句子时,英文字母并不是等概率出
现,见P65 ,此时有
27 1
符号
H1 = ∑ pi log = /
i=1 pi

H 2 = / 符号
H3 = / 符号
因此,在信源所输出的序列中依赖关系越复
杂,信息熵就越小。实际上,英文信源的信息
熵还要小得多,一般认为,H ∞= / 符号。因
此,信息效率和冗余度为
H
η= ∞= ,ξ=1−η=
H 0

这说明用英文字母写成文章时,
71%由语言结构、实际意义等确定,
只有29%是写文字的人自由选择。
即100页的英文书,大约只存储29页就可,其
余71页可压缩掉,这压缩掉的文字完全可根据
英文的统计特性来恢复。
信源的冗余度表示信源可压缩的程度

提高传输信息效率:减少或去掉冗余度。
如发电报时,要求言简意赅
在实际通信系统中,为提高传输效率,要压缩
信源的大量冗余,这就是所谓的信源编码。
但冗余度大的消息具有强的抗干扰能力,
便于纠错。如收到“中X人民X和国”时,容易把
它纠正为“中华人民共和国”。但若将其压缩为

“中国”,当错收成“X国”,就很难确定发出的
是“中国”、“美国”…,这将会造成很大的错误。
从提高抗干扰能力角度,
希望增加或者保留信源的冗余度,
或在传输之前,在信源编码后去除冗余的符号
序列里,加入某些特殊的冗余度,以达到通信
系统理想的传输有效性和可靠性的综合平衡,
这就是所谓的信道编码。

总结:
信源编码:通过减少或消除信源
的冗余度来提高传输效率;
信道编码:通过增加信源的冗余
度来提高抗干扰能力。
几句话:P67 划一下