文档介绍：信息论与编码 Information Theory & Coding 主讲张丽英
长春大学电子信息工程学院
2009年3月3日
总学时: 48
理论课: 40<br****题测试: 8
周学时: 6
8周课
教材:《信息论与编码》主编曹雪虹
参考书:
1、《信息论与编码》作者:付祖云编著
电子工业出版社
2、《信息论与编码》作者:陈运周亮陈新
电子工业出版社
3、《应用信息论基础》作者:朱雪龙编著清华大学出版社
4、《信息论理论基础》作者:贾世楼编著
哈尔滨工业大学出版社
本课主要介绍信息的基本概念,信息论研究的对象、目的和内容,信息论发展简史及现状。
介绍了信息论三个基本概念,信源熵、信道容量和信息论失真函数,以及相关的编码定理,信源编码、信道编码、安全编码。
目录
第一章绪论
第二章信源和信息熵
第三章无失真信源编码
第四章限失真信源编码
第五章信道编码
第六章密码学
第一章绪论 § 信息论的形成和发展
一、什么是信息
:信息就是一种消息
: 信息是人与外界相互作用的过程
中所交换的内容的名称
钟义信: 信息就是事物运动的状态和方式,就是
关于事物运动的千差万别的状态和方式知识。
20世纪通信技术的发展推动了信息理论的研究.
于1924年解释了信号带宽和信息速率之间的关系.
于1928年开始研究通信系统传输信息的能力,给出了信息的度量方法.
于1948年发表的著名论文《通信的数学理论》
A Mathematical Theory munication奠定了信息论的理论基础.
二、信息论的形成和发展
:
(1)形式化假说:通信的基本问题是消息的接收端精确地或近似地复制发送端所挑选的消息。通常消息是有意义的,但通信的语义方面的问题与工程问题是无关的。
(2)非决定论:实际的消息总是可能发生的消息集合中挑选出来的,因此通信系统必须设计得对每一种选择都能工作,因为各种消息的选择是随机的,设计者事先无法知道什么时候会选择什么消息来传送。
(3)不确定性: 两种情况下有通信的需要,一是自己有某种的消息要告知对方,而估计对方“不知道”该消息;二是自己有某种“疑问”要询问对方,估计对方能作出一定的解答。
1) 狭义信息论:主要研究信息的测度、信道容量(信道的传输能力)、信源及信道的编码问题。这部分理论是Shannon信息论,也称基础信息论。
2) 一般信息论:也称为通信理论,主要研究信息传输的基本理论和通信的基本问题。
3) 广义信息论:除上述两方面的内容外,还包括所有与信息论有关的其它领域,如生物、遗传工程、经济、社会等领域。
三、信息科学的研究范畴
有三个层次