文档介绍：该【信息论与编码纠错第4章】是由【wyj199215】上传分享，文档一共【45】页，该文档可以免费在线阅读，需要了解更多关于【信息论与编码纠错第4章】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。第4章
离散信道的信道容量
单击此添加副标题
202X
202X
内容提要
信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并给出信道容量的定义和计算方法。
一．信息传输率
§
平均互信息量
H ( X )：信道输入方关于发送符号集X中的某个消息的平均不确定性；
H(X/Y)：信道输出方接收到符号集Y后对X发送消息仍存在的平均不确定性；
I(X;Y)：为通信过程中获得的信息量，也就是平均每个码元所携带的信息量。
对于单符号传输情况，信息传输率为：
二．信道容量
信息传输率是衡量通信质量的一个重要指标，由前面的定理知：对于固定信道，总存在某种输入概率分布 p ( x ) ，使 I（X; Y）达到最大值，定义这个最大值为信道容量，记为C。
使I（X; Y）达到信道容量的分布p(x)为最佳分布。
信道容量C就是在保证可靠通信的前提下，信道所能容纳的最大信息传输量。
对于固定信道，信道容量C是一个固定值；对于不同信道，C不同，信道容量C是信道转移概率p(y/x)的函数。
§ 离散无记忆信道容量的计算
一．离散无记忆信道的容量
如果信道输入的是N维序列XN，其概率分布为P（XN），输出的是N维序列YN，则平均互信息量记为I（XN；YN），此时N维信道容量定义为：
下面一条定理给出了一维信道和N维信道的信道容量之间的关系。
定理：如果信道是离散无记忆（DMC）的，则CN  NC，其中C是同一信道传输单符号时的信道容量。
证明：对于DMC信道，（若信道离散无记忆，则信道输入、输出符号序列间的平均互信息量I（XN；YN）小于等于各单个符号间平均互信息量的总和）
（1）若输入的N个符号统计独立，即信源离散无记忆,根据[]有：
（信源无记忆，则信道输入、输出符号序列间的平均互信息量I（XN；YN）大于等于各单个符号间平均互信息量的总和）
（2）对每个i，输入分布p (xi) 可使I (Xi; Yi) 达到信道容量C，则：
则：
综上，在信源和信道都离散无记忆的情况下，有CN＝NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。
二．达到信道容量的充要条件
定理：使平均互信息量I（X; Y）达到信道容量C的充要条件是信道输入概率分布
简记为p (X) = { p (x1), p (x2), …, p (xM)}满足：
说明：定理只给出了使平均互信息量达到信道容量的充要条件，并没有给出求信道容量及信道输入概率分布的显式，它只能用来求解一些特殊情况的信道容量。
下面介绍几种特殊信道信道容量的求解。
对于特殊信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：有噪无损信道、无噪确定信道和无噪无损信道。
【例】有噪无损信道
无损信道的输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图所示，信道输入符号集X ={x1, x2, x3}，输出符号集Y ={y1, y2, y3, y4, y5 , y6}，其信道转移概率矩阵记为P，计算该信道的信道容量。
【解】
1．先考察平均互信息量I（X; Y）= H（X）- H（X/Y），在无噪信道条件下，H（X/Y）= 0，则平均互信息量I（X; Y）= H（X）。
2．根据定义计算信道容量C
从上式可看出，求信道容量C的问题转化为寻找某种分布p (x) 使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布p(x1) = p(x2) = p(x3) = 1/3时，熵值达到最大，即有