文档介绍：[例1] 假设一次掷两个各自均匀、互相不可区分又互不相关的骰子。如事件(A)、(B)、(C)分别表示;(A)仅有一个骰子是3,(B)至少有一个骰子是4;(C)骰子上点数的总和是偶数。试计算事件(A)、(B)、(C)发生后所提供的信息量。

解两个骰子朝上一面点数的组合总数 N=6×6=36
(A)事件的样本数nA=2×5=10
(8)事件的样本数nB =5X 2十1=11
(c)事件的样本数nC=6×3=18
我们用随机事件出现频率近似地看作随机事件出现的概率,则事件(A)、(B)、(C)出现的概率分别
得随机事件(A)、(B)、(C)出现后提供的信息量分别是:
[例2]假定有8匹马参加的一场赛马比赛。设8匹马的获胜概率分别为(1/2,1/4,1/81,1/16,1/64,1/64)。试计算出该场赛马比赛的熵。
[例3]下表中列出某信源发出的八种不同消息ai(i=1,2,…,8)、相应的先验概率p(ai)(i=1,2,…,8)、与消息ai(i=1,2,…,8)一一对应的码字wi(i=1,2,…,8)。同时给出输出第一个码符号“0”后,再输出消息a1,a2,a3,“0”对消息a1,a2,a3,a4提供的信息量.
解接到消息ai(i=1,2,3,4)后,推测第一码符号为“0”的后验概率等于1,即有
第一个码符号“0”对消息ai(i=1,2,3,4)提供的信息量,就是从消息ai(i=1,2,3,4)中获取关于第一个码符号“0”的交互信息量
其中p(0)是信源发第一码符号“0”的先验概率,即有
则得:
这说明,第一码符号“0”的自信息量
既表达第一码符号“0”对消息ai(i=1,2,3,4)提供的最大信息量,也表示消息。 ai(i=1,2,3,4)从第一码符号“0”中获取的最大信息量。
[例4] 已知一个高斯信道,输入信噪功率比是3dB,频带为3kHz,求最大可能传送的信息率是多少。若信噪比提高到15dB,求理论上传送同样的信息率所需要的频带宽度。
解:根据香农公式
C=Wlog(1+S/N)
得:
C=3000*log(1+2)= (bit/sec)
[例5] 在图片传输中,×106个像素,为了能很好地重现图像,需分16个量度电平。假定量度电平等概分布,试计算每分钟传送一帧图片所需要的信道带宽(假定信噪比为30dB)。
解:每个像素的信息量为
I=log16=4bit
一帧图像的信息量为
I1=×106×4=9×106bit
一分钟传送一帧图片的信息率为
C=9×106/60=×105bit/s
C=Wlog(1+S/N)
W=×105/log(1+1000)=50kHz