文档介绍：信道的任务是以信号方式传输信息和存储(cún chǔ)信息。
研究信道中能够传送或存储(cún chǔ)的最大信息量，即信道容量。
第1页/共69页
第一页，共70页。
信道(xìn dào)的数学模型和分类
. Y
. .
ar bs
P(bj/ai)
第11页/共69页
第十一页，共70页。
[例1] 二元对称(duìchèn)信道，[BSC，Binary Symmetrical Channel]
解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。
传递(chuándì)概率:
p是单个符号传输发生错误的概率(gàilǜ)。
（1-p）表示是无错误传输的概率(gàilǜ)。
转移矩阵:
0 1
0
1
1－p
a1=0
0=b1
1－p
a2=1
1=b2
p
p
第12页/共69页
第十二页，共70页。
符号(fúhào)“2”表示接收到了“0”、“1”以外的特殊符号(fúhào)
0 2 1
0
1
p
0
0
1－p
1
1
q
1－q
2
[例2]二元删除(shānchú)信道。[BEC，Binary Eliminated Channel]
解：X:{0，1} Y:{0，1，2}
此时，r ＝2，s ＝3，
传递(chuándì)矩阵为：
第13页/共69页
第十三页，共70页。
一般离散单符号信道的传递(chuándì)概率可用矩阵形式表示，即
矩阵P完全描述了信道的特性，可用它作为离散单符号(fúhào)信道的另一种数学模型的形式。
P中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。
b1 b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1)
a2 P(b1|a2) P(b2|a2) … P(bs|a2)
… …. … …
ar P(b1|ar) P(b2|ar) … P(bs|ar)
第14页/共69页
第十四页，共70页。
信道(xìn dào)疑义度与平均互信息
本节进一步研究离散单符号信道的数学模型下的信息(xìnxī)传输问题。
第15页/共69页
第十五页，共70页。
一、信道(xìn dào)疑义度
信道(xìn dào)输入信源X的熵
H(X)是在接收到输出Y以前，关于输入变量(biànliàng)X的先验不确定性，称为先验熵。
第16页/共69页
第十六页，共70页。
接受(jiēshòu)到bj后，关于X的不确定性为
后验熵在输出(shūchū)符号集Y范围内是个随机量，对后验熵在符号集Y中求数学期望，得条件熵----信道疑义度：
这是接收到输出符号bj后关于(guānyú)X的后验熵。
后验熵是当信道接收端接收到输出符号bj后，关于(guānyú)输入符号的信息测度。
第17页/共69页
第十七页，共70页。
互信息量 I(xi ; yj)：收到消息(xiāo xi)yj 后获得关于xi的信息量
即：互信息量表示先验的不确定性减去尚存的不确定性，这就是(jiùshì)收信者获得的信息量
对于(duìyú)无干扰信道，I(xi ; yj) = I(xi)；
对于全损信道，I(xi ; yj) = 0；
二、平均互信息
第18页/共69页
第十八页，共70页。
平均(píngjūn)互信息I(X; Y)： I(xi ; yj)的统计平均(píngjūn)。
它代表接收到符号集Y后平均每个符号获得的关于X的信息量，也表示了输入与输出两个随机变量之间的统计约束(yuēshù)程度。
第19页/共69页
第十九页，共70页。
关于平均互信息I(X;Y)
互信息 I(x ; y) 代表