文档介绍：第六章波形信源和波形信道
第一节波形信源的统计特性和离散化
第二节连续信源和信源的信息测度
第三节具有最大熵的连续信源
第四节连续信道和波形信道的分类
第五节连续信道和波形信道的信息传输率
第六节连续信道和波形信道的信道容量
第七节连续信道编码定理
第一节波形信源的统计特性和离散化
实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源成为随机波形信源,其输出消息可以用随机过程{x(t)}来表示。
随机过程{x(t)}可以看成由一族时间函数组成称为样本函数。每个样本函数是随机过程的一个实现。
(1)随机波形信源中消息数是无限的。
(2)随机波形信源可用有限维概率密度函数族以及与各维函数概率密度函数有关的统计量来描述。
第一节波形信源的统计特性和离散化
就统计特性的区别来说,随机过程大致可分为平稳随机过程和非平稳过程两大类。
最常见的平稳随机过程为遍历过程,它不但统计特性不随时间平移而变化,而且它的集平均以概率1等于时间平均。
对于随机过程来说,只要是限频的,它的每个样本函数也可作同样的取样处理。每个样本函数都可以用一系列
时刻上的样本值来表征。因为随机过程的样本函数x(t)有无限多个,因此,取样后瞬间的样本值是一个随机变量。
第一节波形信源的统计特性和离散化
这样,通过取样,随即过程就成为可数的无限维的随机序列。
如果随机过程又是限时的,时间间隔为T,则就成为2FT个有限维的随机序列。取样之后还要对取值的离散化。取样加量化才使随机过程变换成时间的取值都是离散的随机序列。量化必然带来量化噪声,引起信息损失。
随机过程描述输出消息的信源称为随机波形信源。用连续随机变量描述输出消息的信源称为连续信源。
第二节波形信源和波形信源的信息测度
连续信源的差熵
先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度,变量间的条件概率密度和联合概率密度来描述。
变量的一维概率密度函数为
一维概率分布函数为
条件概率密度函数为
联合概率密度函数为
第二节波形信源和波形信源的信息测度
它们之间的关系为
基本连续信源的数学模型为
其中R是全实数集。
连续信源的差熵
连续信源的信息熵
第二节波形信源和波形信源的信息测度
这样的话:
舍弃无穷大的第二项,可得:
定义连续信源的熵为:
第二节波形信源和波形信源的信息测度
同理可以定义两个连续变量X、Y的联合熵和条件熵
第二节波形信源和波形信源的信息测度
连续信源的差熵只具有熵的部分含义和性质
(1)可加性
并当且仅当X与Y统计独立时
所以可得
(2)凸状性和极值性
差熵h(X)是输入概率密度函数p(x)的П型凸函数,对于某一概率密度函数可以得到差熵的最大。
(3)差熵可为负值
第二节波形信源和波形信源的信息测度
波形信源的差熵
实际信源的输入和输出都是平稳随机过程,其{x(t)}和{y(t)}可以通过取样,分解成取值连续的无穷平稳随机序列来表示,所以平稳随机过程的熵就是无穷平稳随机序列的熵。
波形信源的差熵: