文档介绍：The document was prepared on January 2, 2021
信息论与编码自学报告
《信息论与编码》课程自学报告
题目：《信息论与编码》自学报告
学号：
姓名：
任课教师：黄素娟
联系方式：
二零17年 1月 10日
第一部分阐述“第四章信息率失真函数”主要内容
1、基本概念
失真函数与平均失真度
平均失真度
在离散情况下，信源X＝{a1,a2,…ar} ，其概率分布p(x)＝[p(a1),p(a2),…,p(ar)] ，信宿Y＝ {b1,b2,…bs} 。若已知试验信道的传递概率为p(bj/ai)时，则平均失真度为：
凡满足保真度准则---平均失真度D D0的试验信通称D失真许可的试验信道。
失真函数
假如某一信源X，输出样值为xi，xi{a1,…an}，经过有失真的信源编码器，输出Y，样值为yj，yj {b1,…bm}。如果xi＝yj，则认为没有失真；如果xi yj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数定义为
最常用的失真函数
前三种失真函数适用于连续信源，后一种适用于离散信源。
信息率失真函数的定义
互信息取决于信源分布和信道转移概率分布。当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值。在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即
单位：bit/信源符号
对于离散无记忆信源，R(D)函数可写成
p(ai)，i＝1，2，…，n 是信源符号概率分布；
p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m 是转移概率分布；
p(bj)，j＝1，2，…，m 是接收端收到符号概率分布。
信息率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系
信息率失真函数的性质
1、R(D)函数的定义域和值域
R(D)的定义域为
允许失真度D的下限可以是零，这是不允许任何失真的情况。
2、R(D)是关于平均失真度D的下凸函数
设为任意两个平均失真，，则有：
3、R(D) 是区间上的连续和严格单调递减函数。
离散信源的信息率失真函数
离散信源信息率失真函数的参量表达式
(1)
(1)
(2)(3)(4)
二元及等概率离散信源的信息率失真函数
设二元信源
计算率失真函数R(D)
对于这种简单信源，可从D(S)解出S与D的显式表达式。
二元等概率离散信源的率失真函数
当上述二元信源呈等概率分布时，上面式子分别退化为
3保真度准则下的信源编码定理
定理 (保真度准则下的信源编码定理，香农第三定理)