文档介绍：第第1 1章章绪绪论论信息论的形成和发展信息论的形成和发展信息论的研究内容信息论的研究内容信息的基本概念信息的基本概念通信系统模型简介通信系统模型简介 2017-5-29 2 信息论的形成和发展信息论的形成和发展 1. ( 信息论的早期酝酿( 19 19世纪到世纪到 20 20世纪世纪 40 40年代) 年代) ??编码技术产生:莫尔斯码、波多码编码技术产生:莫尔斯码、波多码??早期通信中发现的问题早期通信中发现的问题??信号的频带宽度和信噪比影响信道的通信容量。信号的频带宽度和信噪比影响信道的通信容量。??通信的数量与质量相互制约:有效性和可靠性通信的数量与质量相互制约:有效性和可靠性??抗干扰码的出现。抗干扰码的出现。??香农熵的产生香农熵的产生维纳、费希尔、香农几乎同时提出信息的度量形式维纳、费希尔、香农几乎同时提出信息的度量形式??1948 1948 年, 年, 香农香农发表论文发表论文《《通信的数学理论通信的数学理论》》,奠,奠定了现代信息论的基础定了现代信息论的基础 2017-5-29 3 信息论的形成和发展信息论的形成和发展 Claude Shannon (1916-2001) Claude Shannon (1916-2001) 2017-5-29 4 信息论的形成和发展信息论的形成和发展 2. ( 信息论的建立与发展( 1948 1948 ~ ~1980S 1980S ) ) ??对香农信息理论进行严格的数学描述与论对香农信息理论进行严格的数学描述与论证证( (1948 1948 ~ ~1960S 1960S ) ) ??香农信息论的发展香农信息论的发展( (1970S 1970S ~ ~1980S 1980S ) ) ??率失真理论的发展率失真理论的发展??多用户信息论(网络信息论)的发展多用户信息论(网络信息论)的发展??代数编码理论的发展代数编码理论的发展 2017-5-29 5 信息论的形成和发展信息论的形成和发展 3. ( 信息论近期发展( 20 20世纪世纪 90 90年代后) 年代后) ??无失真编码的应用无失真编码的应用??有失真信源数据压缩编码的应用有失真信源数据压缩编码的应用??调制解调码问题调制解调码问题??汉字信息编码汉字信息编码??图形码与存储介质码图形码与存储介质码 2017-5-29 6 信息论的研究内容信息论的研究内容??狭义信息论(经典信息论) 狭义信息论(经典信息论) 主要研究信息的测度、信道容量及信源和信道编码理论等问主要研究信息的测度、信道容量及信源和信道编码理论等问题,又称香农基本理论题,又称香农基本理论??一般信息论(工程信息论) 一般信息论(工程信息论) 主要研究信息传输和处理问题。除香农理论以外,还包括编主要研究信息传输和处理问题。除香农理论以外,还包括编码理论、噪声理论、信号滤波和预测、统计检测和估计、调码理论、噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等制理论、信息处理理论以及保密理论等??广义信息论广义信息论不仅包括上述两方面内容,而且包括所有与信息有关的自然不仅包括上述两方面内容,而且包括所有与信息有关的自然和社会领域,如模式识别、计算机翻译、心理学、遗传学、和社会领域,如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的神经生理学、语言学、语义学甚至包括社会学中有关信息的问题问题√√ 2017-5-29 7 香农信息论香农信息论压缩理论压缩理论限失真信源编码限失真信源编码无失真信源编码无失真信源编码率失真理论率失真理论压缩编码压缩编码定长编码定长编码定理定理变长编码变长编码定理定理最优码构成最优码构成 Huffman Huffman 码码 Fano Fano 码码传输理论传输理论有噪声有噪声信道编码理论信道编码理论码构成码构成纠错码纠错码代数编码代数编码卷积码卷积码网络信道网络信道网络信息理论网络信息理论网络最佳码网络最佳码保密理论保密理论保密系统的保密系统的信息理论信息理论保密码保密码香农信息论的科学体系香农信息论的科学体系 2017-5-29 8 信息的基本概念信息的基本概念??物质世界的三大支柱: 物质世界的三大支柱: 物质、能量和信息物质、能量和信息?? Without materials, there is nothing. Without materials, there is nothing. 没有没有物