文档介绍：第第1 1章章绪论绪论?? 信息及其度量信息及其度量––信息信息:是消息中包含的有效内容:是消息中包含的有效内容––如何度量离散消息中所含的信息量如何度量离散消息中所含的信息量? ? ??度量信息量的原则度量信息量的原则––能度量任何消息,并与消息的种类无关。能度量任何消息,并与消息的种类无关。––度量方法应该与消息的重要程度无关。度量方法应该与消息的重要程度无关。––消息中所含信息量和消息内容的不确定性有关消息中所含信息量和消息内容的不确定性有关【【例例】】 1. 1. 《《儒林外史儒林外史》》中范进中举后发疯中范进中举后发疯 2. : 上例表明: 消息所表达的事件越不可能发生,信息量就越大。消息所表达的事件越不可能发生,信息量就越大。第第1 1章章绪论绪论??度量信息量的方法度量信息量的方法––事件的不确定程度可以用其出现的概率来描述: 事件的不确定程度可以用其出现的概率来描述: 消息出现的概率越小,则消息中包含的信息量就越大。消息出现的概率越小,则消息中包含的信息量就越大。––设: 设: P P( (x x ) ) - -消息发生的概率, 消息发生的概率, I I- -消息中所含的信息量, 消息中所含的信息量, ––则则P P( (x x ) ) 和和 I I 之间应该有如下关系: 之间应该有如下关系: ?? I I 是是P P( (x x ) ) 的函数: 的函数: I I = = I I [ [P P( (x x )] )] ??P P( (x x ) ) ??, , I I ??; ;P P( (x x ) ) ??, , I I ??; ; P P( (x x ) = 1 ) = 1 时, 时, I I= =0 0; ;P P( (x x ) = 0 ) = 0 时, 时, I I= =??; ; ??––满足上述满足上述 3 3条件的关系式如下: 条件的关系式如下: -信息量的定义-信息量的定义?????)]([ )]([])()([ 2121xPIxPIxPxPI)( log )( 1 logxPxP I aa???第第1 1章章绪论绪论––上式中对数的底: 上式中对数的底: 若若a a = 2 = 2 ,信息量的单位称为,信息量的单位称为比特比特(bit) (bit) ,可简记为,可简记为 b b 若若a a = = e e,信息量的单位称为奈特,信息量的单位称为奈特( ( nat nat ) ), , 若若a a = 10 = 10 ,信息量的单位称为哈特莱,信息量的单位称为哈特莱(Hartley) (Hartley) 。。––通常广泛使用的单位为比特,这时有通常广泛使用的单位为比特,这时有––【【例例】】设一个二进制离散信源,以相等的概率发送数字设一个二进制离散信源,以相等的概率发送数字““0 0””或或““1 1””, , 则信源每个输出的信息含量为则信源每个输出的信息含量为––在工程应用中,习惯把一个二进制码元称作在工程应用中,习惯把一个二进制码元称作 1 1比特比特)( log )( 1 logxPxP I aa??? 2 2 1 log log ( ) ( ) I P x P x ? ??)b(12 log 2/1 1 log )1()0( 22????II第第1 1章章绪论绪论––若有若有 M M个等概率波形( 个等概率波形( P P = 1/ = 1/ M M),且每一个波形的出现是独立),且每一个波形的出现是独立的,则传送的,则传送 M M进制波形之一的信息量为进制波形之一的信息量为––若若M M是是2 2的整幂次,即的整幂次,即 M M = 2 = 2 k k,则有,则有当当M M = 4 = 4 时,即时,即 4 4进制波形, 进制波形, I I = 2 = 2 比特, 比特, 当当M M = 8 = 8 时,即时,即 8 8进制波形, 进制波形, I I = 3 = 3 比特。比特。)b( log /1 1 log 1 log 222M M P I??? 2 log 2 ( ) k I k b ? ?第第1 1章章绪论绪论––对于非等概率情况对于非等概率情况设:一个离散信源是由设:一个离散信源是由 M M个符号组成的集合,其中每个符号个符号组成的集合,其中每个符号 x x i i ( ( i i = 1, 2, 3, = 1, 2, 3, ……, , M M) )按一定的概率按一定的概率 P(