文档介绍：1
通信原理
2
第1章绪论
度量信息量的方法
事件的不确定程度可以用其出现的概率来描述:
消息出现的概率越小,则消息中包含的信息量就越大。
-信息量的定义
通常广泛使用的单位为比特,这时有
(b)
3
第1章绪论
若有M个等概率波形(P = 1/M),且每一个波形的出现是独立的,则传送M进制波形之一的信息量为
若M是2的整幂次,即 M = 2k,则有
当M = 4时,即4进制波形,I = 2比特,
当M = 8时,即8进制波形,I = 3比特。
4
第1章绪论
对于非等概率情况
设:一个离散信源是由M个符号组成的集合,其中每个符号xi (i = 1, 2, 3, …, M)按一定的概率P(xi)独立出现,即
且有
则x1 , x2, x3,…, xM 所包含的信息量分别为
于是,每个符号所含平均信息量为
由于H(x)同热力学中的熵形式相似,故称它为信息源的熵
5
第1章绪论
【例1-2】一离散信源由“0”,“1”,“2”,“3”四个符号组成,它们出现的概率分别为3/8,1/4,1/4,1/8,且每个符号的出现都是独立的。试求某消息20********** 01203210100321010023102002010312032100120210的信息量。
【解】此消息中,“0”出现23次,“1”出现14次,“2”出现13次,“3”出现7次,共有57个符号,故该消息的信息量

每个符号的算术平均信息量为
6
第1章绪论
若用熵的概念来计算:
则该消息的信息量
以上两种结果略有差别的原因在于,它们平均处理方法不同。前一种按算数平均的方法,结果可能存在误差。这种误差将随着消息序列中符号数的增加而减小。
当消息序列较长时,用熵的概念计算更为方便。
7
第1章绪论
数字通信系统
有效性:用传输速率和频带利用率来衡量。
码元传输速率RB:定义为单位时间(每秒)传送码元的数目,单位为波特(Baud),简记为B。
式中T - 码元的持续时间(秒)
信息传输速率Rb:定义为单位时间内传递的平均信息量或比特数,单位为比特/秒,简记为 b/s ,或bps
8
第1章绪论
码元速率和信息速率的关系
或
对于二进制数字信号:M = 2,码元速率和信息速率在数量上相等。
对于多进制,例如在八进制(M = 8)中,若码元速率为1200 B,,则信息速率为3600 b/s。
9
例题
,求RB和Rb,四进制时又是多少?
解(1)
(2)
10
第1章绪论
频带利用率:定义为单位带宽(1赫兹)内的传输速率,即
或