文档介绍：第二章离散信源及其信息测度
第一节信源的数学模型及分类
第二节离散信源的信息熵
第三节信息熵的基本性质
第四节离散无记忆的扩展信源
第五节离散平稳信源
第六节马尔可夫信源
第七节信源剩余度与自然语言的熵
第一节信源的数学模型及分类
在通信系统中,收信者在未收到信息以前,对信源发出什么样的消息是不确定的,是随机的,所以可以用随机变量、随机矢量或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度来描述信源。
不同的信源根据其输出消息的不同的随机性质进行分类。
第一节信源的数学模型及分类
1、离散信源
数学模型如下:
集合X中,包含该信源包含的所有可能输出的消息,集合P中包含对应消息的概率密度,各个消息的输出概率总和应该为1。
例:天气预报
第一节信源的数学模型及分类
2、连续信源
数学,模型如下:
每次只输出一个消息,但消息的可能数目是无穷多个。
例:电压、温度等。
第二节离散信源的信息熵
1、自信息
我们认为,一个字符它所携带的信息量是和该字符出现的概率有关,概率可以表征自信息量的大小
根据客观事实和人们的习惯概念,应满足以下条件:
第二节离散信源的信息熵
(2)当
时
(3)当时
(4)两个独立事件的联合信息量应等于它们分别的信息量之和。
(1) 应是先验概率的单调递减函数,即当时
第二节离散信源的信息熵
根据上述条件可以从数学上证明这种函数形式是对数函数,即:
有两个含义:
1、当事件发生前,表示该事件发生的不确定性;
2、当事件发生后,标是该事件所提供的信息量.
自信息量的单位取决于对数所取的底,若以2为底,单位为比特,以e为底,单位为奈特,以10为底,单位为哈特,通常取比特为单位
第二节离散信源的信息熵
例:设天气预报有两种消息,晴天和雨天,出现的概率分别为1/4和3/4,我们分别用来表示晴天,以来表示雨天,则我们的信源模型如下:
第二节离散信源的信息熵
我们定义自信息的数学期望为信源的平均信息量
信息熵具有以下两种物理含义:
1、表示信源输出前信源的平均不确定性
2、表示信源输出后,每个符号所携带的平均信息量
2、信息熵
例:天气预报,有两个信源
则:
说明第二个信源的平均不确定性更大一些
第二节离散信源的信息熵