文档介绍：信息论与编码技术
自信息量
【思考】
概率空间[X,P]中能输出多少信息?
每个消息xi的出现又携带多少信息量呢?
【引例- 】
假设一条电线上串联了8个灯泡x1, x2, …,x8 。这8个灯泡损坏的可能性是等概率的,现假设这8个灯泡中有且仅有一个已损坏,致使串联灯泡都不能点亮。在检查之前,我们不知道也不能确定哪个灯泡xi已损坏。只有通过万用表去测量电路是否断路,获得足够的信息量,才能获得和确定哪个灯泡xi已损坏。
如何测量、确定?
【引例- 】
【解】一般采用的最简单方法:
第一次测量:测量电路起始至中间一段的阻值。假设每次测量均为前端不通。
通:后端的灯泡损坏
不通:前端有损坏的灯泡
分析1
【引例- 】
【分析1】
通过第一次测量可以消除一些不确定性,获得一定的信息量。
【大小?】
在未测量之前,8个灯泡都有可能损坏,其先验概率是P1=1/8,存在的不确定性用I(P1)表示。
【引例- 】
【分析1】
第一次测量之后,可知有4个灯泡是好的,另外4个中有一个是坏的,其后验概率为P2=1/4,尚存在的不确定性用I(P2)表示。
第一次测量后,所获得的信息量是测量前后不确定性减少的量:
I(P1) - I(P2)
【引例- 】
第二次测量:只需在4个灯泡中进行,假设每次测量均为前端不通。测量电路起始至两个灯泡的中端。
根据通与不通可知是哪两个灯泡中有坏的可能。
分析2
【引例- 】
【分析2】
第二次测量后变成猜测两个灯泡中哪一个是坏的了,这时后验概率是P3=1/2 ,尚存在的不确定性是I(P3) 。
第二次测量获得的信息量是:
I(P2) - I(P3)
【引例- 】
第三次测量:只需在2个灯泡中进行。
能完全消除不确定性,并获知哪一个灯泡坏了。
分析3
【引例- 】
【分析3】
第三次测量已不存在不确定性了,因此,尚存在的不确定性为0 。
第三次测量获得的信息量是:
I(P3) – 0 = I(P3)