文档介绍：信息论与编码纠错第4章
内容提要
信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传等概率分布的；反之亦然。
【定理三】 实现DMC准对称信道的信道容量的信源分布为等概率分布。
证明：若信源含有K个消息，等概率分布，即p(xk)=1/K，k＝1，2，...，K，则
准对称信道是关于行对称，对任何k值，上式中的和值相等，与k无关，故I(xk；Y)是常数，根据前面的定理，知平均互信息量达到信道容量C。
【例】信道输入符号集X = {x1, x2}，输出符号集Y = {y1, y2, y3, y4}，给定信道转移概率矩阵为P，求该信道的信道容量C。
这是一个准对称信道，根据定理，当X等概分布，p(x1)＝p(x2)＝1/2时，信道容量
平均互信息量
由
得
可算得信道容量
【例】BSC信道的转移概率如下，求信道容量：
该信道为一个对称信道，当输入等概率分布（此时输出也是等概率分布），取得信道容量。
① 时，信道的输入符号和输出符号是一一对应的关系，在这种情况下，信道容量C＝log2，达到最大值。
② 时，信道的不确定性最大，在这种情况下，信道容量C＝0，是一种最差信道。
③ 时，这是一种强噪声信道，但也是一种确定信道，在这种情况下，可将判决取反，收到y1 判为x2 ， y2收到判为 x1 ，也能达到信道容量的最大值C＝log2。
2. 信源只含两个消息
【例】信道输入符号集X = {x1, x2 }，输出符号集Y = {y1, y2, y3}，给定信道转移概率矩阵P，求信道容量C。
设使平均互信息量达到信道容量的信源分布为:
p(x1) = ， p(x2) =1- 。
由
，可算出
平均互信息量
根据定义，求C的问题就转化为为何值时，I (X; Y ) 达到最大值。令
则信道容量
3．信道转移概率矩阵为非奇异方阵
非奇异方阵：
方阵行列式的值不为零，存在逆阵。
计算信道容量C按下面步骤进行：
(1) 先验证信道转移概率矩阵P =[p(yj/xi)]是方阵，且矩阵P的行列式|P|≠0；
(2) 计算出逆矩阵P-1=[ p-1 (yj︱xk)]；
(3) 计算出
(4) 根据式
，计算出信道容量C；
(5)  验证是否满足p(xi) 0， i =1, 2, …, K。
先由式
计算出p(yk) k =1, 2, …, K
再由式
计算出p(xi) i =1, 2, …, K
【例】 已知信道转移概率矩阵P，求信道容量C。
（1）P矩阵的行列式：
，说明P是一个非奇异方阵。
（2）P的逆矩阵：
（3）算出
(4) 根据式
，计算出信道容量C；
（5）下面验证是否p (xi) 0，i =1, 2
先根据
算出
再算得
§ 组合信道的容量
考虑有两个信道
信道1：
信道2：
下面介绍信道三种不同组合情况下的信道容量。
一．独立并行信道
在这种情况下，二个信道作为一个信道使用，传送符号XX′，接收符号YY′，因为两个信道是独立的，故并行信道的转移概率为：
这相当于信道是离散无记忆的，，对于离散无记忆信道，下式成立
对上面不等式两边取最大值，得
C C 1 + C2
说明在两信道并行使用的情况下，总容量小于等于两信道单独使用时的信道容量之和。
推广到N个信道的并行组合，当N个信道并行独立使用时，记Ck (k = 1, 2, …, N )为第k个信道的信道容量，C为组合信道的总容量，则有
等号成立的条件，都要求信源离散无记忆，即要求信道独立使用且输入独立。
二．和信道
两个信道轮流使用，使用概率分别为p1，p2，且p1+p2 = 1，记概率分布P =（p1，p2），和信道的平均互信息计算如下
根据定义，有
求使上式取极大值的P,
令
对数以2为底，注意到p2 = 1- p1，得
记
（为待定常数）
从上式中解出
（*）
代入条件p1+p2 = 1，得
式（*）中的p1，p2就是使平均互信息量I（p1，p2）达到最大的取值，将其代入信道容量公式，得：
故信道容量为：
推广到N个信道轮流使用的情况, 当N个信道以不同概率轮流使用时，记Ck (k = 1, 2, …, N )为第k个信道的信道容量，C为组合信道的总容量，则有
三．串行信道
将两个信道级联，有X'