文档介绍：第十三讲
2003年6月
11/10/2017
1
信道容量
?
考虑一个DMC信道,其输入字符集是X={x0,x1,…,xq-1},输出字符集是Y={y0,y1,…,yQ-1},转移概率P(yj/xi). 若给定信道的转移概率和对应于输入符号的概率分布p(xi),则 DMC信道容量C为
11/10/2017
2
说明:
(1) 两个公式
(2) 限制条件:
11/10/2017
3
(3) 信道容量单位
C的单位是信道上每传送一个符号(每使用一次信道)所能携带的比特数,即比特/符号(bits/symbol或 bits/channel use)。
以e为底取自然对数时,信道容量的单位变为奈特/符号(nats/sym-bol)。
如果已知符号传送周期是T秒,也可以“秒”为单位来计算信道容量,此时Cs=C/T,以比特/秒(bits/s)或奈特/秒(nats/s)为信道容量单位。
11/10/2017
4
(4) 转换计算式
若将Px=[p(x0),p(x1),….,p(xq-1)]定义为输入符号的概率矢量Px,关系式
I(X;Y)=H(X)- H(X/Y)=H(Y)- H(Y/X)
可得:
11/10/2017
5
信道容量是否存在?
定理:给定转移概率矩阵P后,平均互信息I(X;Y)是概率矢量Px的上凸函数。(证明略)
用I(Px)表示I是Px的函数,则在I(Px)曲线上凸点所对应的输入符号概率矢量Px上,I(Px)取得了极大值,这个极大值就是信道容量。
11/10/2017
6
如何计算信道容量?
(1)对称DMC信道的容量
什么叫对称DMC信道?
如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素),称该矩阵是输入对称的;如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素),称该矩阵是输出对称的;如果输入、输出都对称,则称该DMC为对称的DMC信道。
11/10/2017
7
例如:
11/10/2017
8
有扰的对称DMC信道性质:
①对称信道的条件熵H(Y/X)与信道输入符号的概率分布无关,且有H(Y/X)=H(Y/xi),i=0,1,…,q-1。
11/10/2017
9
②当信道输入符号等概分布时,信道输出符号也等概分布;
反之,若信道输出符号等概分布,信道输入符号必定也是等概分布。
11/10/2017
10