文档介绍：该【《总结与复习》 】是由【相惜】上传分享，文档一共【40】页，该文档可以免费在线阅读，需要了解更多关于【《总结与复习》 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。信息论与编码 总结与复****理论--------香农信息论(1948年香农发表?通信的数学理论?)编码--------信源编码:将代码变得更简练〔压缩掉代码中的冗余)。信道编码:使代码变得更可靠〔具有检错与纠错功能)。保密编码:使代码变得更平安〔具有保密与认证功能)。三大定理--------无失真信源编码定理有噪信道编码定理限失真信源编码定理第一局部、:1、信息的定义:〔1〕自信息I=log(1/p)=-logp〔2〕信息量=通信所消除掉的不确定度=通信前的不确定度-通信后的不确定度=平均互信息第一局部、、信息熵的定义:〔1〕离散信源〔2〕连续信源3、信息熵的极值性?1?离散信源各符号等概率时出现极大值:H0=logm?2?连续信源信号幅度受限时均匀分布出现极大值:hmax(X)=log(b-a);?3?连续信源信号方差有限时高斯分布出现极大值:第一局部、、离散序列的信息熵〔1〕无记忆信源的联合熵与单符号熵:H(X1X2……XN)=H(X1)+H(X2)+H(X3)+……+H(XN)=NH(X1)〔2〕有记忆信源的联合熵与条件熵:H(X1X2……XN)=H(X1)+H(X2|X1)+H(X3|X1X2)+……+H(XN|X1X2……XN-1)〔3〕平均符号熵:HN=H(X1X2……XN)/N第一局部、〔4〕序列信息熵的性质:?1?条件熵不大于无条件熵,强条件熵不大于弱条件熵:H(X1)≥H(X2|X1)≥H(X3|X1X2)≥………≥H(XN|X1X2……XN-1)?2?条件熵不大于同阶的平均符号熵:HN≥H(XN|X1X2……XN-1)?3?序列越长,平均每个符号的信息熵就越小:H0>H1≥H2≥H3≥……≥HN≥H∞〔以上不等式无记忆信源等号成立。〕第一局部、、、马尔可夫信源的信息熵〔1〕马尔可夫信源的数学模型和定义:N阶马尔可夫信源的关联长度是N+1,N+2以外不关联。〔2〕状态、状态转移与稳态概率:〔3〕稳态符号概率:结论:N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。〔4〕稳态信息熵:第一局部、:1、信道的数学模型:进入广义信道的符号为ai∈A;从广义信道出来的符号bj∈B;其前向概率为pij=p(bj|ai)。传输矩阵:2、信道有关的信息熵:第一局部、:I(X;Y)=H(X)–H(X|Y)=H(Y)–H(Y|X)=H(X)+H(Y)–H(XY)I(X;Y)代表系统每完成收发一对符号的通信过程后,所消除掉的平均不确定度,即信宿从每个符号中平均所获得的净信息量。非负性平均互信息不会是负值:I(X;Y)≥,最大不会超过信源熵。:当信道给定时,平均互信息仅由信源性质决定,总存在一个信源能使互信息取极大值;定理2:当信源给定时,平均互信息仅由信道性质决定,总存在一个信道能使互信息取极小值。平均互信息的性质