文档介绍：第4章连续信息与连续信源
1
第4章连续信息与连续信源
本章主要内容：

1. 连续随机变量集合的熵
2. 离散时间高斯信源的熵
3. 连续最大熵定理
4. 连续随机变量集的平均互信息
5. 离散集与连续集之间的互信息
2
本章在研究第3章离散信源的基础上研究连续信源的信息量度量。

内容安排如下：
首先研究离散时间连续信源的差熵，主要是高斯信源的差熵；然后介绍连续信源最大熵定理；最后介绍连续集合之间的平均互信息、离散集合与连续集合的平均互信息。
3
本节主要内容：

§ 连续随机变量集合的熵
4
连续随机变量的离散化
一个连续随机变量的离散化过程大致如下：
若给定连续随机变量集合的概率分布或概率密度；再给定一个由实数集合到有限或可数集合的划分，使得
，其中表示离散区间，为实数集合，且互斥；用将进行划分，划分后的离散集合表示为或，且使得：
（）
即，把的概率看成取值的概率，这样就得到离散化后随机变量的概率分布。
5
连续随机变量的离散化(续)
对于二维连续随机变量，可采用类似方法，得到离散化后对应的二维离散随机变量的联合概率分布：
（）
其中，分别为的某种划分，且。
6
连续随机变量集的熵
设连续随机变量集合在离散化后分别为，根据离散化后的离散事件的概率可得
（）
取等间隔划分，即令，则

（）
7
连续随机变量集的熵(续)
这样，离散化后信源的熵可看成由（）式中的两项组成，当Δx→0 时，第一和第二项分别用和来表示。那么
（）

（）
8
连续随机变量集的熵(续)
可见，连续信源的熵由两部分组成：一部分为绝对熵，其值为无限大，用表示；另一部为差熵（或微分熵），用表示。
通常我们所说的连续信源的熵就是差熵，可写成：
（）
差熵的单位为：比特(奈特)/自由度。
9
连续随机变量集的条件熵
类似地，可计算离散化后的为：

取等间隔划分，即令，则

（）
10