1 / 49
文档名称:

chap4 信息率失真函数课件.ppt

格式:ppt   大小:1,658KB   页数:49页
下载后只包含 1 个 PPT 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

chap4 信息率失真函数课件.ppt

上传人:yzhlyb 2022/11/24 文件大小:1.62 MB

下载得到文件列表

chap4 信息率失真函数课件.ppt

文档介绍

文档介绍:该【chap4 信息率失真函数课件 】是由【yzhlyb】上传分享,文档一共【49】页,该文档可以免费在线阅读,需要了解更多关于【chap4 信息率失真函数课件 】的内容,可以使用淘豆网的站内搜索功能,选择自己适合的文档,以下文字是截取该文章内的部分文字,如需要获得完整电子版,请下载此文档到您的设备,方便您编辑和打印。第四章信息率失真函数
无失真信源编码和有噪信道编码告诉我们:只要信道的信息传输速率小于信道容量,总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小;反之,若信道的信息传输速率大于信道容量,则不可能使信息传输差错概率任意小。
但是,无失真的编码并非总是必要的。
香农首先定义了信息率失真函数R(D),并论述了关于这个函数的基本定理。
定理指出:在允许一定失真度D的情况下,信源输出的信息传输率可压缩到R(D)值,这就从理论上给出了信息传输率与允许失真之间的关系,奠定了信息率失真理论的基础。
信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。
本章主要介绍信息率失真理论的基本内容,侧重讨论离散无记忆信源。
首先给出信源的失真度和信息率失真函数的定义与性质;然后讨论离散信源和连续信源的信息率失真函数计算;在这基础上论述保真度准则下的信源编码定理。
首先讨论失真的测度。
离散无记忆信源U,信源变量U={u1,u2,…ur},概率分布为P(u)=[P(u1),P(u2),…P(ur)]。
信源符号通过信道传输到某接收端,接收端的接收变量V={v1,v2,…vs}。
对应于每一对(u,v),我们指定一个非负的函数:
称为单个符号的失真度(或失真函数)。
通常较小的d值代表较小的失真,而d(ui,vj)=0表示没有失真。
若信源变量U有r个符号,接收变量V有s个符号,则d(ui,vj)就有r×s个,它可以排列成矩阵形式,即:
它为失真矩阵D,是r×s阶矩阵。
须强调:这里假设U是信源,V是信宿,那么U和V之间必有信道。
实际这里U指的是原始的未失真信源,而V是指失真以后的信源。
因此,从U到V之间实际上是失真算法,所以这里的转移概率p(vj/ui)是指一种失真算法,
有时又把p(vj/ui)称为试验信道的转移概率,如图所示。
原始信源
失真信源
试验信道
信道
U
V
p(vj/ui)
[例1]离散对称信源(r=s)。信源变量U={u1,u2,…ur},接收变量V={v1,v2,…vs}。定义单个符号失真度:
这种失真称为汉明失真。汉明失真矩阵是一方阵,对角线上的元素为零,即:
对二元对称信源(s=r=2),信源U={0,1},接收变量V={0,1}。在汉明失真定义下,失真矩阵为:
[例3]对称信源(s=r)。信源变量U={u1,u2,…ur},接收变量V={v1,v2,…vs}。失真度定义为:
若信源符号代表信源输出信号的幅度值,这就是一种以方差表示的失真度。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重,严重程度用平方来表示。
当r=3时,U={0,1,2},V={0,1,2},则失真矩阵为:
上述三个例子说明了具体失真度的定义。一般情况下根据实际信源的失真,可以定义不同的失真和误差的度量。另外还可以按其他标准,如引起的损失、风险、主观感觉上的差别大小等来定义失真度d(u,v)。
若平均失真度D不大于我们所允许的失真D,即:
DD
称此为保真度准则。
信源固定(给定P(u)),单个符号失真度固定时(给定d(ui,vj)),选择不同试验信道,相当于不同的编码方法,所得的平均失真度是不同的。
有些试验信道满足DD,而有些试验信道D>D。
凡满足保真度准则----平均失真度DD的试验信通称为---D失真许可的试验信道。
把所有D失真许可的试验信道组成一个集合,用符号BD表示,即:
BD={P(vj/ui):DD}
寻找平均互信息I(U;V)的最小值。而BD是所有满足保真度准则的试验信道集合,因而可以在D失真许可的试验信道集合BD中寻找一个信道P(vj/ui),使I(U;V)取极小值。
由于平均互信息I(U;V)是P(vj/ui)的U型凸函数,所以在BD集合中,极小值存在。这个最小值就是在DD的条件下,信源必须传输的最小平均信息量。即:
R(D)-------信息率失真函数或简称率失真函数。
单位是奈特/信源符号
或比特/信源符号