文档介绍：信息论与编码题目最大熵原理的合理性及其应用姓名学号院系成绩二O一一年十二月二十八日最大熵原理的合理性及其应用摘要:熵是源于物理学的基本概念,后来香农在信息论中引入了信息熵的概念,它在统计物理中的成功使人们对熵的理论和应用有了广泛和高度的重视。最大熵原理是一种在实际问题中已得到广泛应用的信息论方法。本文从信息熵的概念出发,对最大熵原理做了简要介绍,并论述了最大熵原理的合理性,最后提及它在一些领域的应用,通过在具体例子当中应用最大熵原理,展示该原理的适用场合,以期对最大熵原理及其应用有更深刻的理解。关键词:熵;信息熵应用;最大熵原理;不适定性问题;。在政治、军事、经济等各个领域,信息的重要性不言而喻,有关信息理论的研究正越来越受到重视,信息论方法也逐渐被广泛应用于各个领域。信息论一般指的是香农信息论,主要研究在信息可以度量的前提下如何有效地、可靠地、安全地传递信息,涉及消息的信息量、消息的传输以及编码问题。,提出信息的统计定义和信息熵、互信息概念,解决了信息的不确定性度量问题,并在此基础上对信息论的一系列理论和方法进行了严格的推导和证明,使以信息论为基础的通信工程获得了巨大的发展。信息论从它诞生的那时起就吸引了众多领域学者的注意,他们竞相应用信息论的概念和方法去理解和解决本领域中的问题。近年来,以不确定性信息为研究对象的信息论理论和方法在众多领域得到了广泛应用,并取得了许多重要的研究成果。迄今为止,较为成熟的研究成果有:;;——概率法,组合法,计算法;。这些成果大大丰富了信息理论的概念、方法和应用范围。在信息论中,最大熵的含义是最大的不确定性,它解决的一大类问题是在先验知识不充分的条件下进行决策或推断等。熵方法在谱估计、图象滤波、图象重建、天文信号处理、专家系统等中都有广泛的应用。最大熵原理在实际问题中的应用近年来一直在不断地发展。。熵是描述客观事物无序性的参数,,通常称之为热力学熵。,称之为统计热力学熵。1929年,匈牙利科学家Lszilard首先提出了熵与信息不确定性的关系,使信息科学引用熵的概念成为可能。1948年,,熵的概念有了新的解释,香农认为信息是人们对事物了解的不确定性的消除或减少,他把通讯过程中信源讯号的平均信息量称为信息熵,现在一般称之为香农熵,实现了信息熵的实际应用,从此对信息熵的研究,随着信息科学的发展而得到不断的发展。香农将随机变量X的信息熵定义为:?)(XH-nNnnpplog1??式中,np为?Xnx的概率分布,n=1,2,…,