文档介绍：信道的通信能力可以度量吗?在有干扰的信道上可以进行无差错的通信吗?
学习得来终觉浅,绝知此事要自悟
2
第2章信源及信息度量
信源的数学模型和分类
离散信源熵和互信息
离散序列信源熵
连续信源熵和互信息
冗余度
3

信源顾名思义是产生消息的源头,从数学的角度,它产生随机变量、随机序列和随机过程的源。在这里信源指从信源发出的消息。
信源的基本特性是具有随机属性和概率统计特性
4

分类
按照信源发出的消息在时间上和幅度上的分布情况,把信源分为:
(1) 连续信源(continuous source):发出在时间上或幅度上是连续分布(只要满足其中之一)的连续消息的信源,如话音、图像,可以认为是一个随机过程。
(2) 离散信源(discrete source):发出在时间上和幅度上都是离散分布的信源。消息的符号的取值是有限的或可数的,且两两不相容。如文字、数据、电报。可以认为是一个随机变量或者随机序列。
5

分类
按照信源发出的消息在时间上和幅度上的分布情况,把信源分为:
(1) 连续信源(continuous source):发出在时间上或幅度上是连续分布(只要满足其中之一)的连续消息的信源,如话音、图像,可以认为是一个随机过程。
(2) 离散信源(discrete source):发出在时间上和幅度上都是离散分布的信源。消息的符号的取值是有限的或可数的,且两两不相容。如文字、数据、电报。可以认为是一个随机变量或者随机序列。
6

分类
离散信源可以根据符号间关系细分为::
(1) 离散无记忆信源(discrete memoryless source):所发出的各个符号之间是相互独立的,发出的符号序列中的各个符号之间没有统计关联性,各个符号的出现概率是它自身的先验概率。
(2) 离散有记忆信源(discrete source with memory):发出的各个符号之间不是相互独立的,各个符号出现的概率是有关联的。
7

分类
也可以根据信源发出一个消息所用符号的多少,将离散信源分为:
(1) 离散无记忆信源(discrete memoryless source):所发出的各个符号之间是相互独立的,发出的符号序列中的各个符号之间没有统计关联性,各个符号的出现概率是它自身的先验概率。
(2) 离散有记忆信源(discrete source with memory):发出的各个符号之间不是相互独立的,各个符号出现的概率是有关联的。
8

分类
将以上两种分类结合,主要有下面几种离散信源:
(1) 发出单个符号的无记忆离散信源;
(2) 发出符号序列的无记忆离散信源;
(3) 发出符号序列的有记忆离散信源。
当有记忆信源的相关性涉及到前面所有符号的时候,随着序列的增加,相关性的符号也会增加,当序列可能无限长的时候,记忆的长度也是无限的,因此为了简化问题,一类有限记忆、定长记忆、记忆是邻近的离散信源被提出,即马尔可夫信源:某一个符号出现的概率只与前面一个或有限个符号有关,而不依赖更前面的那些符号。
9

分类
10
离散无记忆信源
例2-1 扔骰子每次试验结果必然是1~6点中的某一个面朝上。可以用一个离散型随机变量X来描述这个信源输出的消息。

并满足

需要注意的是,大写字母X代表随机变量,指的是信源整体。带下标的小写字母xi代表随机事件的某一具体的结果或信源的某个元素(符号)。在信息论教材中一般如此约定