文档介绍：该【信息论与编码纠错第4章】是由【wxq362】上传分享，文档一共【45】页，该文档可以免费在线阅读，需要了解更多关于【信息论与编码纠错第4章】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。第4章
离散信道的信道容量
第1页,共45页。
内容提要
信道对于信息率的容纳并不是无限制的,它不仅与物理信道本身的特性有关,还与信道输入信号的统计特性有关,它有一个极限值,即信道容量,信道容量是有关信道的一个很重要的物理量。这一章研究信道,研究在信道中传输的每个符号所携带的信息量,并给出信道容量的定义和计算方法。
第2页,共45页。
§

平均互信息量
H(X):信道输入方关于发送符号集X中的某个消息的平均不确定性;
H(X/Y):信道输出方接收到符号集Y后对X发送消息仍存在的平均不确定性;
I(X;Y):为通信过程中获得的信息量,也就是平均每个码元所携带的信息量。
对于单符号传输情况,信息传输率为:
第3页,共45页。

信息传输率是衡量通信质量的一个重要指标,由前面的定理知:对于固定信道,总存在某种输入概率分布p(x),使I(X;Y)达到最大值,定义这个最大值为信道容量,记为C。
使I(X;Y)达到信道容量的分布p(x)为最佳分布。
信道容量C就是在保证可靠通信的前提下,信道所能容纳的最大信息传输量。
对于固定信道,信道容量C是一个固定值;对于不同信道,C不同,信道容量C是信道转移概率p(y/x)的函数。
第4页,共45页。
§

如果信道输入的是N维序列XN,其概率分布为P(XN),输出的是N维序列YN,则平均互信息量记为I(XN;YN),此时N维信道容量定义为:
下面一条定理给出了一维信道和N维信道的信道容量之间的关系。
定理:如果信道是离散无记忆(DMC)的,则CNNC,其中C是同一信道传输单符号时的信道容量。
第5页,共45页。
证明:对于DMC信道,(若信道离散无记忆,则信道输入、输出符号序列间的平均互信息量I(XN;YN)小于等于各单个符号间平均互信息量的总和)
第6页,共45页。
(1)若输入的N个符号统计独立,即信源离散无记忆,根据[]有:
(信源无记忆,则信道输入、输出符号序列间的平均互信息量I(XN;YN)大于等于各单个符号间平均互信息量的总和)
(2)对每个i,输入分布p(xi)可使I(Xi;Yi)达到信道容量C,则:
则:
综上,在信源和信道都离散无记忆的情况下,有CN=NC,即定理中等号成立,这时N长序列的传输问题可归结为单符号传输问题。
第7页,共45页。

定理:使平均互信息量I(X;Y)达到信道容量C的充要条件是信道输入概率分布
简记为p(X)={p(x1),p(x2),…,p(xM)}满足:
说明:定理只给出了使平均互信息量达到信道容量的充要条件,并没有给出求信道容量及信道输入概率分布的显式,它只能用来求解一些特殊情况的信道容量。
第8页,共45页。
下面介绍几种特殊信道信道容量的求解。
对于特殊信道,信道的输入X和输出Y之间有着确定的关系,一般有三类:有噪无损信道、无噪确定信道和无噪无损信道。
【例】有噪无损信道
无损信道的输入符号集元素个数小于输出符号集的元素个数,信道的一个输入对应多个互不交叉的输出,如图所示,信道输入符号集X={x1,x2,x3},输出符号集Y={y1,y2,y3,y4,y5,y6},其信道转移概率矩阵记为P,计算该信道的信道容量。
第9页,共45页。
【解】
(X;Y)=H(X)-H(X/Y),在无噪信道条件下,H(X/Y)=0,则平均互信息量I(X;Y)=H(X)。

从上式可看出,求信道容量C的问题转化为寻找某种分布p(x)使信源熵H(X)达到最大,由极大离散熵定理知道,在信源消息等概分布p(x1)=p(x2)=p(x3)=1/3时,熵值达到最大,即有
第10页,共45页。