文档介绍：信息论与编码-自学报告
《信息论与编码》课程自学报告
题目：《信息论与编码》自学报告
学号：
姓名：
任课教师：黄素娟
联系方式： **********
二零17年 1月 10日
第一部分阐述“第四章信息率失真函数”主要内容
1、基本概念

平均失真度
在离散情况下，信源X＝{a1,a2,…ar} ，其概率分布p(x)＝[p(a1),p(a2),…,p(ar)] ，信宿Y＝ {b1,b2,…bs} 。若已知试验信道的传递概率为p(bj/ai)时，则平均失真度为：
凡满足保真度准则---平均失真度D £ D0的试验信通称D失真许可的试验信道。
失真函数
假如某一信源X，输出样值为xi，xiÎ{a1,…an}，经过有失真的信源编码器，输出Y，样值为yj，yj Î{b1,…bm}。如果xi＝yj，则认为没有失真；如果xi ¹ yj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数定义为
最常用的失真函数
前三种失真函数适用于连续信源，后一种适用于离散信源。 

互信息取决于信源分布和信道转移概率分布。当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值。在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即
单位：bit/信源符号
对于离散无记忆信源，R(D)函数可写成

设二元信源
计算率失真函数R(D)
对于这种简单信源，可从D(S)解出S与D的显式表达式。
二元等概率离散信源的率失真函数
当上述二元信源呈等概率分布时，上面式子分别退化为
3保真度准则下的信源编码定理
(保真度准则下的信源编码定理，香农第三定理)
设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度D。对于任意 D，以及任意长的码长k，一定存在一种信源编码C，其码字个数为使编码后码的平均失真度。
定理的含义是：只要码长k足够长，总可以找到一种信源编码，使编码后的信息传输率略大于(直至无限逼近)率失真函数R(D)，而码的平均失真度不大于给定的允许失真度，即：
由于R(D)为给定D前提下信源编码可能达到的传信率的下限，所以香农第三定理说明了：达到此下限的最佳信源编码是存在的。
第二部分信源编码或信道编码典型案例的实现方案
信源编码典型案例的实现方案--霍夫曼编码的matlab实现
编码原理
霍夫曼（Huf