文档介绍：第4章信息率失真函数
离散信源的R(D)
连续信源的R(D)
限失真信源编码定理
1
基本概念
失真
信道编码定理——欲无失真,必 R < C
若 R > C,必失真
失真必要性——
连续信源R趋向于无穷大,必有失真
压缩亦有失真
失真可能性——终端性能有限,如人眼,人耳
研究:信息率~允许失真——信息率失真理论
2
基本概念(续)
信息率失真函数R(D)——香农1959年提出
在允许一定失真度D的情况下,
信源输出的信息率可压缩为R(D)值
数据压缩的理论基础
I(X;Y)——P(X)、P(Y/X)的二元函数
固定P(Y/X) ,改变P(X)得I(X;Y)最大值
——信道容量
固定P(X),改变P(Y/X) 得I(X;Y)最小值
——率失真函数
3
失真函数与平均失真度
信息率~失真——允许失真↑→所需信息率↓
一、失真函数d(xi,yj)
信源编码器输入X∈{ x1, x2, …, xi , …, xn }
输出Y∈{ y1, y2, …, yj , …, ym }
若xi = yj ——则无失真
若xi≠yj ——则有失真
[定义]
[含义] 衡量用 yj 代替 xi 所引起的失真程度
[说明] d(xi,yj) ≥0
信源
编码
Y
X
4
失真函数与平均失真度(续)
[D]和失真测量流图
(1) 失真矩阵[D]
—d(xi,yj)的矩阵表示
(2) 失真测量流图
[例]设X∈{0,1} , Y∈{0,1,2}
给定失真函数d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,d(0,2)=d(1,2)=,
则
0
1
0
1
2
yj
xi
0
0
1
1
5
失真函数与平均失真度(续)
(1)
若a=1,则为汉明失真函数
[D] ——汉明失真矩阵
(2) d(xi,yj) = (yj–xi)2 ——平方误差失真函数
6
失真函数与平均失真度(续)
二、平均失真度
——
失真函数的数学期望
[说明]
①是在平均意义上,对系统失真的总体描述
②是信源统计特性p(xi)的函数
是信道统计特性p(yj / xi)的函数
是规定失真度 d(xi, yj)的函数
若保持p(xi)、d(xi, yj) 不变,
则平均失真度就是信道特性p(yj / xi)的函数
,D——允许失真的上界
[结论]研究:在满足保真度准则前提下,求信息率最小值
7
失真函数与平均失真度(续)
三、离散无记忆信道的N次扩展信道
输入序列XN=X1X2…XN
N位,每位n种,共有nN种序列
输出序列 YN=Y1Y2…YN
N位,每位m种,共有mN种序列
(ai,bj)
——是单符号时的N倍
8
信息率失真函数的定义
一、试验信道(D允许信道)PD
:固定信源(P(X)时,满足失真度准则
的所有转移概率p(y/x)的集合
、单符号信道的试验信道
、N次扩展信道的PD(N)
9
信息率失真函数的定义(续)
二、(信息)率失真函数R(D)
、单符号信道的R(D)
[含义]满足条件下,平均互信息的最小值
、N次扩展信道的RN(D)
[含义]满足条件下,平均互信息最小值
[说明] 两者关系:RN(D) =NR(D)
10