文档介绍：信息论与编码全部课件
信息的定义与性质
古时的通信：烽火台
信息传播五阶段：
手势和语言——文字——印刷术——电磁波——计算机和通信
微电子技术、通信技术和计算机技术促进了信息技术发展。
信息产业的发展促进了社会产业加密，实现保密信息传输。
20
数字信息传输系统
（5）易于与其他系统配合使用，构成综合业务信息传输网。
（6）易于集成化和大规模生产，性能一致性好且成本低。
缺点：
（1）占用信道频带较宽。
（2）要有一个复杂的同步系统。
21
信息论研究对象和内容
研究对象：消息传输系统即信息传输系统，通信系统。
研究目的：提高通信系统的可靠性和有效性。
（1）可靠性高：使信源发出的消息经过传输后尽可能准确地不失真地再现在接收端。
（2）有效性高：经济效果好，用尽可能短的时间和尽可能少的设备传送一定数量的信息。
22
信息论研究对象和内容
研究内容：
（1）通信的统计理论的研究。
（2）信源的统计特性的研究。
（3）收信者接受器官的研究。
（4）编码理论与技术。
（5）如何提高信息传输效率。
（6）抗干扰理论与技术。
（7）噪声中信号检测理论与技术。
23
信息论研究对象和内容
信息论的三个层次：
（1）信息论基础（狭义信息论）：主要研究信息的测度、信道容量、信源和信道编码理论等问题。
（2）一般信息论：主要研究信息传输和处理问题，除香农理论外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论以及信息处理理论等。
（3）广义信息论：不仅包括上述两方面内容，还包括与信息有关的领域，如心理学、遗传学、神经生理学、语言学、语义学等。
24
信息论发展简史
电信系统的发展：
电磁理论和电子学理论的发展促进了电信系统的创造发明或改进。
1823年-1835年，莫尔斯建立了电报系统。
1876年，贝尔发明了电话系统。
1895年，马可尼和波波夫发明了无线电通信。
1925年-1927年，建立起电视系统。
二次大战初期，微波通信系统和微波雷达系统迅速发展起来。
20世纪60年代，人类进入光纤通信时代。
25
信息论发展简史
信息理论的发展：
1924年，奈奎斯特首先将信息率与信号带宽联系起来。
1928年，哈特莱引入了非统计（等概率事件）信息量概念。
20世纪40年代初期，维纳把随机过程和数理统计的观点引入通信和控制系统中。
1948、1949年，香农用概率测度和数理统计的方法，系统地讨论了通信的基本问题。
26
信息论发展简史
无失真信源编码的发展：
（香农编码理论）惟一可译码——费诺码——哈夫曼码（最佳码）——算术编码——LZ码（通用信源编码）。
信道编码的发展：
纠错码——汉明码（代数编码）——卷积码（概率编码）——并行极点卷积码。
27
2 信息的量度
自信息量和条件自信息量
互信息量和条件互信息量
离散集的平均自信息量
离散集的平均互信息量
例题
28
自信息量和条件自信息量
自信息量
条件自信息量
29
自信息量
信源发出的消息常常是随机的，其状态存在某种程度的不确定性，经过通信将信息传给了收信者，收信者得到消息后，才消除了不确定性并获得了信息。
获得信息量的多少与信源的不确定性的消除有关。
不确定度——惊讶度——信息量
30
自信息量
（1）直观定义信息量为：
收到某消息获得的信息量=不确定性减少的量=收到此消息前关于某事件发生的不确定性-收到此消息后关于某事件发生的不确定性
（2）无噪声时信息量为：
收到消息前获得的信息量=收到此消息前关于某事件发生的不确定性=信源输出的某消息中所含有的信息量
31
自信息量
举例说明，一个布袋中装有对人手感觉完全一样的球，但颜色和数量不同，问下面三种情况下随意拿出一个球的不确定程度的大小。
（1）99个红球和1个白球
（2）50个红球和50个白球
（3）红球、白球、黑球、黄球各25个
32
自信息量
事件发生的不确定性与事件发生的概率有关，一般情况下，一个信源可以用一个概率空间来描述，信源的不确定程度可以用这个概率空间的可能状态数目及其概率来描述。
33
自信息量
设信源X的概率空间为
其中：X是信源的状态空间，即随机事件的状态数；是随机事件可能状态的概率分布，且，各状态是相互独立的。
通常记为