文档介绍：测试技术与信息论论文 1 一、信息论的定义信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。从DVD 到个人电脑,从卫星通信到文件,在我们今天的生活中,信息几乎在每个领域都扮演着重要角色。工程师克劳德·香农于 1948 年奠定了信息论的基础, 他指出了通信的极限。基于这一理论产生了数据压缩技术、纠错技术等各种应用技术,这些技术提高了数据传输和存储的效率。信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源-信道隔离定理相互联系。当然,信息论的重大应用远不止于此。 DNA 是一种信息存储物质,正是信息论帮助人们解开了生物基因组密码之谜。简单地说,信息论包含了生命、宇宙乃至一切。二、熵与互信息香农被称为是“信息论之父”。人们通常将香农于 1948 年 10 月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory munication 》( 通信的数学理论)作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫· 哈特利先前的成果。在该文中,香农给出了信息熵(以下简称为“熵”) 的定义: H=-∑ pilogpi 这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量,其中去除了由消息的固有结构所决定的部分,比如, 语言结构的冗余性以及语言中字母、词的使用频度等统计特性。信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。互信息(Mutual Information) 是另一有用的信息度量,它是指两个事件集合之间的相关性。两个事件 X和 Y的互信息定义为: I(X,Y) = H(X) + H(Y) - H(X,Y) 其中 H(X,Y) 是联合熵(Joint Entropy) ,其定义为: H(X,Y) =-∑ p(x,y)logp(x,y) x,y 2 互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。信息论被广泛应用在: 编码学、密码学与密码分析学、数据传输、数据压缩、检测理论、估计理论、信息论第一定律、编辑词条三、信息论对现代社会的影响信息论对现代社会的影响是多方面的。首先,在理论研究方面,信息论所处的地位已远远超出了申农当年所界定的“通信的数学理论”的范畴,得到了不断的扩充和发展,出现了语义信息、语法信息与语用信息等研究与信息的意义有关的学科,以及面向智能研究的全信息理论[6]。如今,信息已成为与物质、能量并列的宇宙中的三个基本要素,世间万物的发展变化可归结为物质、能量和信息的传递和转化过程。另一方面,在科学和技术高度发展的今天,信息的概念也被渗透到许多不同的学科和领域,深入到了社会生活的各个方面,成为可与相对论和量子力学并驾齐驱的新一代边缘交叉学科的重要组成部分。特别是以信息论、控制论和系统论为代表的“老三论”以及以普里高津() 的耗散结构理论,哈肯() 的协同学和托姆() 的突变论或艾根(M. Eigen) 的超循环理论为代表的“新三论”的出现,标志着一代新的边缘交叉学科的兴起。它们的形成