文档介绍：§ § 自信息自信息第一章第一章随机变量的信息度量随机变量的信息度量§ 熵联合熵条件熵§ 相对熵和互信息§ 信息量的一些基本性质 2 离散信源信源输出的消息是以取值离散的符号形式出现,其不同符号数可以是有限个,或可列无限个连续信源信源输出的消息的取值是连续的,可取不可列无限多个值信源消息的来源 3 离散信源通常用一个随机变量表示, 的可能取值,即信源可能输出的不同符号用集合?表示问题:怎么来度量?)( 0xI XX0x 的自信息,记为).( 0xI 大小称为当信源发出某个信号时,它所提供的信息的 0x?? 4 首先看一个例子:设一袋中有 100 个球,其中 80个红球,20 个白球, 现任取一球,: . 问你从哪条消息中所获得的信息量更大? 5 从上例可知,随机事件所含信息的大小与其发生的概率密切相关:随机事件的不确定性越大,即发生的概率越小, 则它的发生所提供的信息越大,反之亦然. 可见,随机事件的自信息应是其概率的函数. 6 自信息应满足的几条公理: ( ) 0, ( ) ; P x I x ? ??则 2) 若( ) 1, 0; P x I x ? ?若则() 3) );()( ),()(yIxIyPxP??则 4) 严格单调性:5) 如果( , ) ( ) ( ), ( , ) ( ) ( ). P x y P x P y I x y I x I y ? ??则;)(oxI? 1) 非负性: 1) ( ) 0; f x ?);()()()2yfxfyxxf???是严格单调增函数,即 7)1 )((???xxf 引理 如果实函数满足: 3) ( ) ( ) ( ); f x y f x f y ? ? ?. log )(xcxf?则 c定理 若自信息满足上述 5个条件,则)( 1 log )(xp cxI?其中为常数. ( ) I x8 定义 )( log )( 1 log )(xpxp xI???( ), x p x x ?设有概率则的自信息定义为?