平均信息熵及其应用.ppt

文档介绍：该【平均信息熵及其应用 】是由【相惜】上传分享，文档一共【40】页，该文档可以免费在线阅读，需要了解更多关于【平均信息熵及其应用 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。平均信息熵及其应用丁勇南京医科大学数学教研室整理ppt信息能否度量?物质、能量和信息是构成客观世界的三大要素。信息〔information〕是什么?至今信息还没有一个公认的定义一般定义:常常把消息中有意义的内容称为信息。整理ppt认识问题的过程:当我们对一问题毫无了解时,对它的认识是不确定的,在对问题的了解过程中,通过各种途径获得信息,逐渐消除了不确定性,获得的信息越多,消除的不确定性也越多。我们可以用消除不确定性的多少来度量信息量的大小。例:会堂有20排、每排20个座位。找一个人。甲告诉消息:此人在第10排;乙告诉消息:此人在第10排、第10座。整理ppt是否存在信息量的度量公式?1948年,美国数学家、信息论的创始人Shannon在题为“通讯的数学理论〞的论文中指出:“信息是用来消除随机不定性的东西〞。并应用概率论知识和逻辑方法推导出了信息量的计算公式ClaudeElwoodShannon(April30,1916-February24,2001)hasbeencalled"thefatherofinformationtheory".整理ppt公理1:信息量是事件发生概率的连续函数;公理2:信息量是有限值;公理3:如果事件A和事件B的发生是相互独立的,那么获知事件A和事件B将同时发生的信息量是单独获知两事件发生的信息量之和。设事件发生的概率为P,那么满足上述公理的信息量函数为为应用方便,可取c=1,a=e,单位为奈特〔nat〕整理ppt信息量函数I=-lnp如何表达不确定性的消除?整理ppt例:会堂有20排、每排20个座位。找一个人。甲告诉消息(A):此人在第10排;乙告诉消息(B):此人在第10排、第10座。由信息量公式I=-lnp可知I是p的单调下降函数整理ppt信息熵(entropy)的概念设离散型随机变量X的概率分布为X的信息熵定义为“加权平均信息量〞整理ppt信息熵的直观意义变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大。??一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。所以,信息熵也可以说是系统有序化程度的一个度量。:整理ppt