文档介绍：连续信源的熵和互信息
信息率失真理论
标量量化编码
矢量量化编码
语音压缩编码
图象压缩编码
第四章      限失真信源编码
第四章      限失真信源编码
限失真编码:信源编码经过译码后能保留应用要求的
信息,允许信源有一定的失真。
为什么要限失真编码
1°连续信源的绝对熵为无限大,由于信道的带宽有限,
受信道容量的限制。不可能实现完全无失真的信源信息的
传输。(可能性)
2°信道资源和技术经济因素的限制。(可实现性)
3°实际应用不必要无失真地恢复信源消息, 不必要完全
无失真的信源信息的传输. (必要性)
4°数字系统的应用,模拟量的采样,量化也会引入失真.
语音信号传输
语音(音频)信号的带宽:20~20000HZ
实际应用音频范围:
电话质量: 300~ 电话公用网
调幅广播质量: 50 ~7 KHZ 有现场感的语音传输
高保真音频信号: 20 ~20 KHZ 高保真音响
图像信号传输
一路6MHz的普通电视信号数字化后,其数码率将
高达167Mbps,对储存器容量要求很大,占有的带宽将
达80MHz左右
表4-1 各种图像信号应用的码率
应用种类
象素数
/行
行数
/帧
码率bps
压缩前
压缩后
HDTV
1920
1080
20~25M
普通电视
720
480
167M
4~8M
会议电视
352
288
~2M
电视电话
128
112
56k
一、连续消息的统计特性
时间连续、取值连续
:
随机过程
:
例如:
在一个具体的时间点ti ,{x(ti)} 为一个取值连续的随机变量,可用有限维概率密度函数族描述:
连续信源的熵和互信息
平稳随机过程:统计特性不随时间平移而变化的随机过程。
★{x(t)}在时刻t= ti的集平均:
{x(t)}在某一时刻ti变量x(ti)的统计平均
一、波形信源的特性
:
★{x(ti)}的时间平均:
{x(ti)}某一样本函数x’(t)的时间平均值
遍历平稳过程:若一平稳随机过程{x(t)}的集平均以概率1等于其时间平均,则称{x(t)}为遍历的平稳过程。
大部分实际信号可以近似看作遍历平稳过程
二、连续信源的熵
变量X的概率分布与概率密度函数的关系为:
1、方法
连续消息离散化
N次扩展信源
时间离散化、幅度分割逼近
量化理论
采样定理
对连续变量X的量化方法如下:
将X的取值范围[a,b]作n等分,每份=(b-a)/n
p(x)
a
b
0
a+(i-1)Δ
a+iΔ
Pi
x
Δ
二、连续信源的熵
则X落在第i区间内的概率为:
则连续信源X:
此信源合理!
二、连续信源的熵
二、连续信源的熵
2、相对熵