文档介绍：离散信道的信道容量
2. 根据定义计算信道容量C
从上式可看出，求信道容量C的问题转化为寻找某种分布q (x) 使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时 ，熵
Y /
独立并行信道
在这种情况下，二个信道作为一个信道使用，传送符号 ，接收符号 ，，对于离散无记忆信道，下式成立
（5-22）
对上面不等式两边取最大值，得
C C 1 + C2 （5-23）
推广到N个信道的并行组合，当N个信道并行独立使用时，记Ck (k = 1, 2, …, N )为第k个信道的信道容量，C为组合信道的总容量，则有
（5-24）
等号成立的条件，都要求信源离散无记忆，即要求信道独立使用且输入独立。
和信道
两个信道轮流使用，使用概率分别为p1, p2，且p1+p2 = 1，记概率分布P =（p1, p2），和信道的平均互信息计算如下
I（P）= I（p1, p2）
= p1I（X;Y）+ p 2 I（X /;Y /）+ H 2（P）
式中：H 2（P）= - p1 log p1 - p2 log p2。
根据定义，有
（5-26）
求使式(5-26)取极大值的P
令 ，对数以2为底，注意到p2 = 1- p1，
得
记 C1 - log p1 = C2 - log p2 = （为待定常数） （5-27）
从式（5-27）中解出：
（5-28）
将式(5-28)代入条件p1+p2 = 1，得
（5-29）
式（5-28）中的p1, p2就是使平均互信息量I（p1, p2）达到最大的取值，将其代入式（5-26），得：
= （p1+p2）=
将式（5-29）代入式（5-30）得：
推广到N个信道轮流使用的情况, 当N个信道以不同概率轮流使用时，记Ck (k = 1, 2, …, N )为第k个信道的信道容量，C为组合信道的总容量，则有
（5-31）
串行信道
将两个信道级联，有X / = Y，如图5-10所示 。
X
信道1
信道2
Y /
Y =X /
图5-10 串行信道
串行信道的信道转移概率
用矩阵表示为：
（5-32）
串行级联信道的信道转移概率趋向于两个独立信道转移概率的均值。若将N个转移概率相同的信道级联，当N →∞ 时，其总信道容量将趋于零。
信道1：P1 = [p (y︱x)] ，信道2：P2 = [p (y‘︱x‘ )] ，信道1和信道2是独立的，信道2的输出Z只与其输入Y及信道转移概率P2 = [p (y‘︱x‘ )]有关，而与X无关。因此信道1和信道2串连就构成了一个马尔可夫链，对于马尔可夫链有如下定理：
X
信道1
信道2
Z
Y
图5－11 马尔可夫链
数据处理定理：无论经过何种数据处理，都不会使信息量增加。
若随即变量X、Y、Z组成一个马尔可夫链，如图5-11所示，则有
I（X; Z） I（X; Y） （5-33）
I（X; Z） I（Y; Z） （5-34）
【】 两个离散信道 ，