文档介绍：《通信原理》第三讲

§ 信息及其度量
信号是消息的载体,而信息是其内涵。
根据概率论知识,信息量 I 与消息出现的概率xP )( 之间的关系应为
1
I ==−log logPx ( ) (-1)
aaPx()
1
I = log −= xp )(log
a xp )(
a =2 时,信息量的单位为比特(bit);ae= 时,信息量的单位为奈特(nit);a=10
时,信息量的单位为十进制单位,叫哈特莱。目前广泛使用的单位为比特。

例 -1 设二进制离散信源,以相等的概率发送数字 0 或 1,则信源每个输
出的信息含量为
1
II == log)1()0( 2 2 == bit)(12log
2/1 (-2)
可见,传送等概率的二进制波形之一(P=1/2)的信息量为 1 比特。同理,
传送等概率的四进制波形之一(P=1/4)的信息量为 2 比特。
综上所述,对于离散信源,M 个波形等概率(P=1/M)发送,且每一个波形
的出现是独立的,则传送 M 进制波形之一的信息量为
1 1
I log 2 == log 2 = 2 bitM )(log
P /1 M (-3)
式中 P为每一个波形出现的概率,M 为传送的波形数。若 M 是 2 的整幂次,
比如 M = 2 K (K=1,2,3,)则式(-3)可改写为
K
I 2 == bitK )(2log (-4)
式中 K是二进制脉冲数目。
设离散信源是一个由 n 个符号组成的符号集,其中每个符号
n
xP )( ,且有 xP = 1)(
ix = ,,,, n)321( i ∑ i
i L 出现的概率为 i=1 ,则每个符号所含信息
量的统计平均值,即平均信息量为

1 −= 12 + 2 − 22 +L+ n − 2 xPxPxPxPxPxPxH n )](log)[()](log)[()](log)[()(
n
符号)
−= ∑ i 2 i bitxPxP /()(log)( −)(
i=1
由于 H 同热力学中的熵形式一样,故通常又称它为信息源的熵,其单位为
bit / 符号。显然,当信源中每个符号等概独立出现时,式(-5)即成为式(-3),
此时信源的熵有最大值。

例 -2 一离散信源由 0,1,2,3 四个符号组成,它们出现的概率分别为
,,, 8/14/14/18/3 ,且每个符号的出现都是独立的。试求某消息
201020130213001203210100321010023102002010312032100120210 的信息量。
解此消息中,0 出现 23 次,1 出现 14 次,2 出现 13 次,3 出现 7 次,共
有 57 个符号,故该消息的信息量
I = 2 2 ++ 2 + 2 = bit)(1088log74log134log143/8log23
每个符号的算术平均信息量为
I 108
I = = bit /( 符号)
符号数 57
若用熵的概念来计算,由式(1