文档介绍：会计学
1
信息论的形成和发展
总学时： 48
理论课： 40
****题测试： 8
周学时： 6
8周课
第1页/共35页
教材：《信息论与编码》 主编 曹雪虹
参考书 ：
1、《信息论与编码》 作者：付祖云 编著
电子工业出版社
2、《信息论与编码》作者：陈运 周亮 陈新
电子工业出版社
3、《应用信息论基础》 作者：朱雪龙 编著清华大学出版社
4、《信息论理论基础》 作者：贾世楼 编著
哈尔滨工业大学出版社
第2页/共35页
本课主要介绍信息的基本概念，信息论研究的对象、目的和内容，信息论发展简史及现状。
介绍了信息论三个基本概念，信源熵、信道容量和信息论失真函数，以及相关的编码定理，信源编码、信道编码、安全编码。
第3页/共35页
目录
第一章 绪论
第二章 信源和信息熵
第三章 无失真信源编码
第四章 限失真信源编码
第五章 信道编码
第六章 密码学
第4页/共35页
第一章 绪论 § 信息论的形成和发展
第5页/共35页
一、什么是信息
：信息就是一种消息
： 信息是人与外界相互作用的过程
中所交换的内容的名称
钟义信： 信息就是事物运动的状态和方式，就是
关于事物运动的千差万别的状态和方式知识。
第6页/共35页
20世纪通信技术的发展推动了信息理论的研究.
于1924年解释了信号带宽和信息速率之间的关系.
于1928年开始研究通信系统传输信息的能力，给出了信息的度量方法.
于1948年发表的著名论文《通信的数学理论》
A Mathematical Theory of Communication奠定了信息论的理论基础.
二、信息论的形成和发展
第7页/共35页
：
（1）形式化假说：通信的基本问题是消息的接收端精确地或近似地复制发送端所挑选的消息。通常消息是有意义的，但通信的语义方面的问题与工程问题是无关的。
（2）非决定论：实际的消息总是可能发生的消息集合中挑选出来的，因此通信系统必须设计得对每一种选择都能工作，因为各种消息的选择是随机的，设计者事先无法知道什么时候会选择什么消息来传送。
（3）不确定性： 两种情况下有通信的需要，一是自己有某种的消息要告知对方，而估计对方“不知道”该消息；二是自己有某种“疑问”要询问对方，估计对方能作出一定的解答。
第8页/共35页
1) 狭义信息论：主要研究信息的测度、信道容量（信道的传输能力）、信源及信道的编码问题。这部分理论是Shannon信息论，也称基础信息论。
2) 一般信息论：也称为通信理论，主要研究信息传输的基本理论和通信的基本问题。
3) 广义信息论：除上述两方面的内容外，还包括所有与信息论有关的其它领域，如生物、遗传工程、经济、社会等领域。
三、信息科学的研究范畴
有三个层次
第9页/共35页